自然语言处理中的贝叶斯分析(原书第2版)

自然语言处理(Natural Language Processing ,NLP)在20世纪80年代中期经历了深刻变革，其开始大量使用语料库和数据驱动技术对语言进行分析。自那时起，统计技术在自然语言处理中的应用在多个方面得到了发展。其中的一个例子发生在20世纪90年代末或21世纪初，自然语言处理引入了成熟的贝叶斯机制。这种针对自然语言处理的贝叶斯方法已经可以解决频率学派方法的各种缺点，特别是在没有目标预测示例的无监督情况下进行统计学习更能弥补频率学派方法的不足。

本书涵盖了流利阅读NLP中贝叶斯学习方向的论文以及从事该领域的研究所需的方法和算法。这些方法和算法部分来自于机器学习和统计学，部分是针对NLP开发的。我们涵盖推理技术，如马尔科夫链、蒙特卡罗抽样和变分推理、贝叶斯估计和非参数建模。为了应对该领域的快速变化，本书新版增加了一个新的章节，关于贝叶斯背景下的表现学习和神经网络。我们还将介绍贝叶斯统计的基本概念，如先验分布、共轭性和生成式建模。很后，我们回顾了一些基本的NLP建模技术，如语法建模、神经网络和表示学习，以及它们在贝叶斯分析中的应用。

译者序
第2版前言
版前言
版致谢
章  基础知识 1
1.1  概率测度 1
1.2  随机变量 2
1.2.1  连续随机变量和离散随机变量 2
1.2.2  多元随机变量的联合分布 3
1.3  条件分布 4
1.3.1  贝叶斯法则 5
1.3.2  独立随机变量与条件独立随机变量 6
1.3.3  可交换的随机变量 6
1.4  随机变量的期望 7
1.5  模型 9
1.5.1  参数模型与非参数模型 9
1.5.2  模型推断 10
1.5.3  生成模型 11
1.5.4  模型中的独立性假定 13
1.5.5  有向图模型 13
1.6  从数据场景中学习 15
1.7  贝叶斯学派和频率学派的哲学（冰山一角） 17
1.8  本章小结 17
1.9  习题 18
第2章  绪论 19
2.1  贝叶斯统计与自然语言处理的结合点概述 19
2.2  个例子：隐狄利克雷分配模型 22
2.2.1  狄利克雷分布 26
2.2.2  推断 28
2.2.3  总结 29
2.3  第二个例子：贝叶斯文本回归 30
2.4  本章小结 31
2.5  习题 31
第3章  先验 33
3.1  共轭先验 33
3.1.1  共轭先验和归一化常数 36
3.1.2  共轭先验在隐变量模型中的应用 37
3.1.3  混合共轭先验 38
3.1.4  重新归一化共轭分布 39
3.1.5  是否共轭的讨论 39
3.1.6  总结 40
3.2  多项式分布和类别分布的先验 40
3.2.1  再谈狄利克雷分布 41
3.2.2  Logistic正态分布 44
3.2.3  讨论 48
3.2.4  总结 49
3.3  非信息先验 49
3.3.1  均匀不正常先验 50
3.3.2  Jeffreys先验 51
3.3.3  讨论 51
3.4  共轭指数模型 52
3.5  模型中的多参数抽取 53
3.6  结构先验 54
3.7  本章小结 55
3.8  习题 56
第4章  贝叶斯估计 57
4.1  隐变量学习：两种观点 58
4.2  贝叶斯点估计 58
4.2.1  优选后验估计 59
4.2.2  基于优选后验解的后验近似 64
4.2.3  决策-理论点估计 65
4.2.4  总结 66
4.3  经验贝叶斯 66
4.4  后验的渐近行为 68
4.5  本章小结 69
4.6  习题 69
第5章  采样算法 70
5.1  MCMC算法：概述 71
5.2  MCMC推断的自然语言处理模型结构 71
5.3  吉布斯采样 73
5.3.1  坍塌吉布斯采样 76
5.3.2  运算符视图 79
5.3.3  并行化的吉布斯采样器 80
5.3.4  总结 81
5.4  Metropolis-Hastings算法 82
5.5  切片采样 84
5.5.1  辅助变量采样 85
5.5.2  切片采样和辅助变量采样在自然语言处理中的应用 85
5.6  模拟退火 86
5.7  MCMC算法的收敛性 86
5.8  马尔可夫链：基本理论 88
5.9  MCMC领域外的采样算法 89
5.10  蒙特卡罗积分 91
5.11  讨论 93
5.11.1  分布的可计算性与采样 93
5.11.2  嵌套的MCMC采样 93
5.11.3  MCMC方法的运行时间 93
5.11.4  粒子滤波 93
5.12  本章小结 95
5.13  习题 95
第6章  变分推断 97
6.1  边缘对数似然的变分界 97
6.2  平均场近似 99
6.3  平均场变分推断算法 100
6.3.1  狄利克雷-多项式变分推断 101
6.3.2  与期望优选化算法的联系 104
6.4  基于变分推断的经验贝叶斯 106
6.5  讨论 106
6.5.1  推断算法的初始化 107
6.5.2  收敛性诊断 107
6.5.3  变分推断在解码中的应用 107
6.5.4  变分推断最小化KL散度 108
6.5.5  在线的变分推断 109
6.6  本章小结 109
6.7  习题 109
第7章  非参数先验 111
7.1  狄利克雷过程：三种视角 112
7.1.1  折棍子过程 112
7.1.2  中餐馆过程 114
7.2  狄利克雷过程混合模型 115
7.2.1  基于狄利克雷过程混合模型的推断 116
7.2.2  狄利克雷过程混合是混合模型的极限 118
7.3  层次狄利克雷过程 119
7.4  Pitman?Yor过程 120
7.4.1  Pitman-Yor过程用于语言建模 121
7.4.2  Pitman-Yor过程的幂律行为 122
7.5  讨论 123
7.5.1  高斯过程 124
7.5.2  印度自助餐过程 124
7.5.3  嵌套的中餐馆过程 125
7.5.4  距离依赖的中餐馆过程 125
7.5.5  序列记忆器 126
7.6  本章小结 126
7.7  习题 127
第8章  贝叶斯语法模型 128
8.1  贝叶斯隐马尔可夫模型 129
8.2  概率上下文无关语法 131
8.2.1  作为多项式分布集的PCFG 133
8.2.2  PCFG的基本推断算法 133
8.2.3  作为隐马尔可夫模型的PCFG 136
8.3  贝叶斯概率上下文无关语法 137
8.3.1  PCFG的先验 137
8.3.2  贝叶斯PCFG的蒙特卡罗推断 138
8.3.3  贝叶斯PCFG的变分推断 139
8.4  适配器语法 140
8.4.1  Pitman-Yor适配器语法 141
8.4.2  PYAG的折棍子视角 142
8.4.3  基于PYAG的推断 143
8.5  层次狄利克雷过程PCFG 144
8.6  依