听觉系统与鸡尾酒会问题

语音识别技术得益于深度学习的发展，已经走进了我们的生活。但是，复杂开放环境下的语音交互是目前语音识别技术发展中无法回避的挑战性难题。本书面向这个主题，从物理层的信号与噪声分离、神经生理层的听觉流分离以及心理认知层的听觉空间注意，进行了多方面地分析；从信号处理的技术实现、计算建模以及听障应用的角度进行了详细地阐述。

推荐语
译者序
前言
章 解析听觉场景的耳和脑机制1
1.1 引言1
1.2 一些关键概念2
1.3 本书概述2
1.4 耳和脑4
参考文献5
第2章 听觉客体的形成和选择6
2.1 引言6
2.1.1 鸡尾酒会：令人困惑的混合声音和受限的加工容量7
2.1.2 基于客体的注意8
2.1.3 异构化而非层次化加工9
2.1.4 历史笔记9
2.2 解析声学场景：听觉客体形成11
2.2.1 局部频谱时间线索支持“音节层面”的客体形成11
2.2.2 高阶特征将音节联结成“流”12
2.2.3 开放问题13
2.3 聚焦注意：选择什么去加工14
2.3.1 自上而下控制指导选择14
2.3.2 自下而上显著性影响注意14
2.3.3 从不完美的客体中提取语义15
2.4 基于客体听觉选择性注意的感知结果15
2.4.1 分散注意的失败15
2.4.2 客体形成和选择之间的强制性交互16
2.4.3 转换注意的代价17
2.5 支持客体形成的神经机制17
2.6 支持客体选择的神经机制18
2.6.1 控制注意的视觉认知网络18
2.6.2 听觉空间注意调用视觉定向和重定向网络19
2.6.3 非空间听觉注意调动不同的听觉专用网络20
2.6.4 感知模态和任务要求影响网络活动20
2.6.5 对关注语音的神经响应夹带22
2.6.6 关注听觉注意的其他神经特征23
2.7 总结23
参考文献24
第3章 能量掩蔽和掩蔽释放34
3.1 引言34
3.2 通过基频进行区分36
3.2.1 基频差值的影响36
3.2.2 选择一个公共基频的多个谐波分量37
3.2.3 时域分析39
3.2.4 外周非线性的影响40
3.2.5 消除机制40
3.2.6 加工层级41
3.2.7 小结42
3.3 关于包络波动的掩蔽和掩蔽释放42
3.3.1 在“波谷”中聆听43
3.3.2 外周非线性的影响44
3.3.3 调制掩蔽44
3.3.4 噪声中的内在调制45
3.3.5 基于调制滤波器组的模型47
3.3.6 听觉受损者的“波谷聆听”效应47
3.3.7 小结49
3.4 掩蔽的空间释放49
3.4.1 较优耳听觉50
3.4.2 双耳去掩蔽52
3.4.3 “迟钝”的问题53
3.4.4 掩蔽的空间释放模型53
3.4.5 小结54
3.5 其他机制54
3.5.1 频率调制对突出效果的影响54
3.5.2 起始时间差异与适应的潜在作用55
3.6 总结55
参考文献56
第4章 语音识别中的信息掩蔽61
4.1 引言61
4.2 混叠语音掩蔽案例的研究历史62
4.3 确定混叠语音掩蔽中的能量掩蔽和信息掩蔽64
4.3.1 不确定性65
4.3.2 控制/估计能量掩蔽67
4.3.3 语言变量70
4.4 双耳分析模型在混叠语音掩蔽中的应用79
4.5 总结84
参考文献85
第5章 鸡尾酒会问题的建模90
5.1 引言90
5.2 定义“鸡尾酒会问题”中的问题91
5.3 鸡尾酒会问题建模准则93
5.3.1 算法策略93
5.3.2 神经学基础98
5.4 鸡尾酒会问题的自下而上模型99
5.5 自上而下的过程和鸡尾酒会问题101
5.6 总结102
参考文献103
第6章 语音空间流分离112
6.1 引言112
6.2 基于心理物理学的空间流分离分析113
6.2.1 空间线索对语音流整合的微弱掩蔽114
6.2.2 基于空间线索的鲁棒流分离115
6.2.3 流分离的空间敏锐度116
6.2.4 空间流分离的声学线索118
6.3 一种用于空间流分离的自下向上机制121
6.3.1 初级听觉皮层的空间流分离122
6.3.2 皮质神经元的空间节律性掩蔽释放125
6.3.3 一种自下而上的空间流分离机制127
6.4 用于空间定位和流分离的“公共”和“专用”空间表示128
6.5 注意客体的选择130
6.5.1 行为动物刺激特异性的任务依赖性调节130
6.5.2 人类神经生理学中的客体选择131
6.6 总结、综合和未来方向132
参考文献133
第7章 人类听觉神经科学与鸡尾酒会问题138
7.1 引言139
7.1.1 常用实验方法139
7.1.2 本章主题140
7.2 人类空间听觉的神经基础140
7.3 人类听觉流分离的神经基础：简单的声音143
7.3.1 使用有限注意力操控的研究144
7.3.2 使用显式注意力操控的研究147
7.4 人类听觉流分离的神经基础：语音149
7.4.1 在固定噪声中使用语音的研究150
7.4.2 使用竞争性语音流的研究151
7.4.3 噪声中语音处理的神经解剖学154
7.5 其他方面155
7.5.1 时间相干性155
7.5.2 自下而上与自上而下的注意155
7.6 总结156
参考文献157
第8章 鸡尾酒会中婴幼儿与儿童的听觉加工162
8.1 引言162
8.2 听觉编码的发育163
8.2.1 频谱分辨率与能量掩蔽163
8.2.2 基频164
8.2.3 时间分辨率165
8.2.4 空间听觉165
8.2.5 听觉–视觉对应关系166
8.3 听觉场景分析的发育166
8.3.1 在讲话中倾听语音167
8.3.2 听觉场景分析中的线索168
8.3.3 选择性注意的作用175
8.4 总结、综合和未来方向177
参考文献178