第1章 绪论
1.1 研究背景与意义
1.2 问题描述与研究难点
1.2.1 研究问题描述
1.2.2 研究难点
1.3 研究方法与现状
1.3.1 基于听觉的声源定位
1.3.2 基于视觉的目标跟踪
1.3.3 多模态融合
1.3.4 基于视听融合的说话人定位与跟踪
1.4 本书内容与结构安排
1.4.1 本书内容
1.4.2 结构安排
第2章 面向视听融合的双层粒子滤波模型
2.1 引言
2.2 基于粒子滤波的目标跟踪算法
2.2.1 贝叶斯滤波原理
2.2.2 粒子滤波算法
2.3 基于双层粒子滤波模型的视听跟踪器
2.3.1 听觉引导的目标状态转移模型
2.3.2 自适应视听融合似然
2.3.3 最优粒子集
2.4 深度度量学习辅助的双层粒子滤波模型
2.4.1 深度度量学习辅助的观测模型
2.4.2 基于长短期机制的模板更新策略
2.5 实验结果与分析
2.5.1 数据集及实验设置
2.5.2 各模块的有效性评估
2.5.3 参数评估
2.5.4 相关工作对比实验
2.6 本章小结
第3章 基于自监督多模态感知注意力机制的说话人定位与跟踪
3.1 引言
3.2 基于视听空间映射的声学线索提取
3.2.1 成像几何原理
3.2.2 全局相干场声学线索
3.2.3 时空全局相干场声学图谱
3.3 基于自监督多模态感知注意力机制的视听跟踪器
3.3.1 多模态感知注意力网络
3.3.2 跨模态自监督学习方法
3.3.3 多模态感知跟踪器
3.4 实验结果与分析
3.4.1 数据集与实验设置
3.4.2 MPT各模块的有效性评估
3.4.3 相关工作对比实验
3.4.4 可视化分析
3.5 本章小结
第4章 多人场景下的语义-空间特征融合机制
4.1 引言
4.2 视听融合的关键词语义特征编码方法
4.2.1 视听特征提取
4.2.2 语义特征编码
4.2.3 视听关键词识别模型
4.3 基于交叉注意力的语义-空间特征融合机制
4.3.1 视觉空间特征提取
4.3.2 听觉空间特征提取
4.3.3 多人场景下的两阶段语义-空间特征融合
4.4 整体跟踪框架
4.5 实验结果与分析
4.5.1 数据集及实验设置
4.5.2 视听关键词识别模型评估
4.5.3 SSFT各模块的有效性评估
4.5.4 相关工作对比实验
4.6 本章小结
第5章 唤醒词线索增强的多说话人声源定位与跟踪
5.1 引言
5.2 唤醒词线索引导的主动目标跟踪
5.2.1 活跃说话人检测
5.2.2 唤醒词线索提取
5.3 唤醒词线索增强的声学图谱估计
5.3.1 视觉观测引导的声学图谱
5.3.2 唤醒词线索增强的声学图谱
5.4 整体跟踪框架
5.5 实验结果与分析
5.5.1 数据集及实验设置
5.5.2 视听唤醒词识别模型评估
5.5.3 WWET各模块的有效性评估
5.5.4 相关工作对比实验
5.5.5 系统集成实验平台
5.6 本章小结
第6章 结论及展望
参考文献
展开
