机器学习导论（原书第4版）

机器学习的核心目标是通过示例数据或历史经验训练计算机解决特定问题。这项技术支撑着自动驾驶汽车、语音识别和翻译应用等前沿科技的发展。这本全面且广受认可的机器学习教材第4版经过大幅修订，不仅系统阐述了理论与实践领域的最新进展，还特别新增了深度学习和神经网络等前沿技术的深度解析。

这本书涵盖了许多通常不会出现在机器学习入门教材中的主题，包括监督学习、贝叶斯决策理论、参数化方法、半参数化方法、非参数化方法、多变量分析、隐马尔可夫模型、强化学习、核方法、图模型、贝叶斯估计以及统计检验。这版新增了一章关于深度学习的内容，详细介绍了卷积神经网络和生成对抗网络等深度神经网络的训练方法、正则化技术以及结构设计；强化学习章节中也补充了新的内容，涵盖了深度网络在强化学习中的应用、策略梯度算法以及深度强化学习的相关技术；多层感知器、自编码器以及Word2Vec网络的相关内容也得到了更新；此外，书中还介绍了常用的降维方法——t-SNE。新的附录部分提供了线性代数与优化理论的背景知识，每章末尾的练习题则有助于读者巩固所学知识。这本书既适用于高年级本科生和研究生的课程教学，也可作为专业人士的参考书。

埃塞姆·阿培丁（Ethem Alpayd？n），土耳其其奥兹耶金大学计算机工程系的教授，欧洲人文和自然科学院成员。于1990年在洛桑联邦理工学院获博士学位，1991年在伯克利国际计算机科学研究所进行博士后研究。他主要从事机器学习方面的研究，是The Computer Journal杂志编委和Elsevier的Pattern Recognition杂志的副主编。

译者序

前言

符号表

第1章 绪论1

1.1 什么是机器学习1

1.2 机器学习应用的示例2

1.2.1 关联规则2

1.2.2 分类3

1.2.3 回归5

1.2.4 无监督学习6

1.2.5 强化学习7

1.3 历史7

1.4 相关主题9

1.4.1 高性能计算9

1.4.2 数据隐私与安全9

1.4.3 模型的可解释性和可信度10

1.4.4 数据科学10

1.5 练习10

1.6 参考文献12

第2章 有监督学习13

2.1 从示例中学习类别13

2.2 Vapnik-Chervonenkis维16

2.3 概率近似正确学习17

2.4 噪声18

2.5 学习多分类19

2.6 回归20

2.7 模型选择与泛化22

2.8 有监督机器学习算法的维度24

2.9 注释25

2.10 练习25

2.11 参考文献27

第3章 贝叶斯决策理论28

3.1 引言28

3.2 分类29

3.3 损失和风险30

3.4 判别函数32

3.5 关联规则33

3.6 注释34

3.7 练习35

3.8 参考文献38

第4章 参数方法39

4.1 引言39

4.2 极大似然估计39

4.2.1 伯努利密度40

4.2.2 多项密度40

4.2.3 高斯（正态）密度41

4.3 评估估计量：偏差和方差41

4.4 贝叶斯估计量43

4.5 参数分类45

4.6 回归47

4.7 调整模型复杂度：偏差/方差困境50

4.8 模型选择程序52

4.9 注释55

4.10 练习55

4.11 参考文献57

第5章 多元方法58

5.1 多元数据58

5.2 参数估计58

5.3 缺失值的估计59

5.4 多元正态分布60

5.5 多元分类62

5.6 调试复杂度66

5.7 离散型特征68

5.8 多元回归69

5.9 注释70

5.10 练习71

5.11 参考文献72

第6章 降维73

6.1 引言73

6.2 子集选择74

6.3 主成分分析76

6.4 特征嵌入80

6.5 因子分析82

6.6 奇异值分解和矩阵因式分解85

6.7 多维缩放86

6.8 线性判别分析88

6.9 典型相关分析92

6.10 等距特征映射93

6.11 局部线性嵌入94

6.12 拉普拉斯特征映射96

6.13 t分布随机邻域嵌入98

6.14 注释99

6.15 练习100

6.16 参考文献101

第7章 聚类103

7.1 引言 103

7.2 混合密度103

7.3 k-均值聚类104

7.4 期望最大化算法107

7.5 混合潜在变量模型110

7.6 聚类后的有监督学习111

7.7 谱聚类112

7.8 层次聚类113

7.9 选择簇的数量114

7.10 注释114

7.11 练习115

7.12 参考文献116

第8章 非参数方法118

8.1 引言118

8.2 非参数密度估计119

8.2.1 直方图估计量119

8.2.2 核估计量120

8.2.3 k-最近邻估计量121

8.3 多元数据的泛化123

8.4 非参数分类123

8.5 浓缩最近邻法124

8.6 基于距离的分类125

8.7 离群值检测127

8.8 非参数回归：平滑模型128

8.8.1 移动平均平滑器128

8.8.2 核平滑器130

8.8.3 移动线平滑器130

8.9 如何选择平滑参数131

8.10 注释132

8.11 练习133

8.12 参考文献135

第9章 决策树137

9.1 引言137

9.2 单变量树138

9.2.1 分类树138

9.2.2 回归树141

9.3 剪枝144

9.4 从树中提取规则144

9.5 从数据中学习规则145

9.6 多变量树148

9.7 注释149

9.8 练习150

9.9 参考文献152

第10章 线性判别153

10.1 引言153

10.2 线性模型的归纳154

10.3 线性判别式的几何原理155

10.3.1 二分类155

10.3.2 多分类156

10.4 逐对分割156

10.5 重温参数判别157

10.6 梯度下降159

10.7 逻辑判别159

10.7.1 二分类159

10.7.2 多分类162

10.7.3 多标签165

10.8 排序学习165

10.9 注释166

10.10 练习167

10.11 参考文献169

第11章 多层感知机170

11.1 引言170

11.1.1 理解大脑170

11.1.2 作为并行处理范例的神经网络171

11.2 感知机172

11.3 训练感知机174

11.4 学习布尔函数175

11.5 多层感知机详解176

11.6 作为通用近似器的MLP177

11.7 反向传播算法179

11.7.1 非线性回归179

11.7.2 二分类判别182

11.7.3 多分类判别183

11.7.4 多标签判别183

11.8 过度训练184

11.9 学习隐藏表征185

11.10 自编码器187

11.11 word2vec架构188

11.12 注释190

11.13 练习191

11.14 参考文献192

第12章 深度学习194

12.1 引言194

12.2 如何训练多个隐藏层 196

12.2.1 线性整流函数196

12.2.2 初始化196

12.2.3 将反向传播泛化到多个隐藏层196

12.3 提高训练的收敛性198

12.3.1 动量199

12.3.2 自适应学习因子199

12.3.3 批量归一化200

12.4 正则化201

12.4.1 提示201

12.4.2 权重衰减202

12.4.3 丢弃法204

12.5 卷积层204

12.5.1 思想204

12.5.2 形式化205

12.5.3 示例：LeNet-5和AlexNet207

12.5.4 扩展208

12.5.5 多模态深度网络209

12.6 调整网络结构209

12.6.1 结构和超参数搜索209

12.6.2 跳跃连接210

12.6.3 门控单元211

12.7 学习序列211

12.7.1 示例任务211

12.7.2 时延神经网络212

12.7.3 循环网络212

12.7.4 长短期记忆单元213

12.7.5 门控循环单元214

12.8 生成对抗网络215

12.9 注释216

12.10 练习217

12.11 参考文献218

第13章 局部模型221

13.1 引言221

13.2 竞争学习221

13.2.1 在线k-均值221

13.2.2 自适应共振理论224

13.2.3 自组织映射224

13.3 径向基函数225

13.4 融合基于规则的知识229

13.5 归一化基函数230

13.6 竞争基函数231

13.7 学习矢量量化233

13.8 混合专家系统233

13.8.1 协同专家系统235

13.8.2 竞争专家系统235

13.9 层次混合专家系统和软决策树236

13.10 注释237

13.11 练习237

13.12 参考文献239

第14章 核机241

14.1 引言241

14.2 最佳分离超平面242

14.3 不可分情况：软边距超平面244

14.4 ν-SVM246

14.5 核技巧247

14.6 向量核248

14.7 定义核250

14.8 多重核学习251

14.9 多类别核机252

14.10 用于回归的核机253

14.11 用于排序的核机256

14.12 单类别核机257

14.13 大边距最近邻分类器259

14.14 核降维260

14.15 注释261

14.16 练习262

14.17 参考文献263

第15章 图模型265

15.1 引言265

15.2 条件独立性的典型案例266

15.3 生成模型271

15.4 d-分离272

15.5 信念传播272

15.5.1 链273

15.5.2 树274

15.5.3 多叉树275

15.5.4 联合树277

15.6 无向图：马尔可夫随机场277

15.7 学习图模型的结构279

15.8 影响图279

15.9 注释280

15.10 练习280

15.11 参考文献282

第16章 隐马尔可夫模型284

16.1 引言284

16.2 离散马尔可夫过程284

16.3 隐马尔可夫模型详解286

16.4 隐马尔可夫模型的三个基本问题287

16.5 评估问题288

16.6 寻找状态序列290

16.7 学习模型参数292

16.8 连续型观测294

16.9 作为图模型的隐马尔可夫模型294

16.10 隐马尔可夫模型中的模型选择296

16.11 注释298

16.12 练习299

16.13 参考文献301

第17章 贝叶斯估计法302

17.1 引言302

17.2 离散分布参数的贝叶斯估计304

17.2.1 K>2状态：狄利克雷分布304

17.2.2 K=2 状态：贝塔分布305

17.3 高斯分布参数的贝叶斯估计306

17.3.1 单变量情况：未知均值、已知方差306

17.3.2 单变量情况：未知均值、未知方差307

17.3.3 多变量情况：未知均值、未知协方差309

17.4 函数参数的贝叶斯估计309

17.4.1 回归310

17.4.2 为噪声精度假定先验的回归312

17.4.3 基函数/核函数的使用314

17.4.4 贝叶斯分类法315

17.5 选择先验317

17.6 贝叶斯模型比较317

17.7 混合模型的贝叶斯估计319

17.8 非参数贝叶斯模型321

17.9 高斯过程321

17.10 狄利克雷过程与中餐馆324

17.11 潜在狄利克雷分配325

17.12 贝塔过程与印度自助餐326

17.13 注释327

17.14 练习328

17.15 参考文献328

第18章 多学习器的组合330

18.1 原理330

18.2 生成多样化的学习器330

18.3 模型组合方案332

18.4 投票法333

18.5 纠错输出码335

18.6 装袋法337

18.7 提升法337

18.8 重温混合专家系统339

18.9 堆叠泛化340

18.10 对集成进行微调341

18.10.1 为集成选择子集341

18.10.2 构建元学习器341

18.11 级联342

18.12 注释343

18.13 练习344

18.14 参考文献345

第19章 强化学习348

19.1 引言348

19.2 单一状态案例：K臂老虎机349

19.3 强化学习的要素350

19.4 基于模型的学习351

19.4.1 价值迭代351

19.4.2 策略迭代352

19.5 时序差分学习352

19.5.1 探索策略353

19.5.2 确定性奖励和行动353

19.5.3 非确定性奖励和行动354

19.5.4 资格迹355

19.6 泛化357

19.7 部分可观测状态358

19.7.1 背景358

19.7.2 示例：老虎问题359

19.8 深度Q学习363

19.9 策略梯度364

19.10 学习下西洋双陆棋和围棋365

19.11 注释366

19.12 练习367

19.13 参考文献368

第20章 机器学习实验的设计与分析370

20.1 引言370

20.2 实验的因素、响应和策略371

20.3 响应面设计373

20.4 随机化、重复和阻止373

20.5 机器学习实验指南374

20.6 交叉验证和重采样方法376

20.6.1 K-折交叉验证376

20.6.2 5×2 交叉验证377

20.6.3 自举法377

20.7 测量分类器的性能378

20.8 区间估计380

20.9 假设检验383

20.10 评估分类算法的性能384

20.10.1 二项检验384

20.10.2 近似正态检验385

20.10.3 t检验385

20.11 两种分类算法的比较386

20.11.1 配对卡方检验386

20.11.2 K-折交叉验证配对t检验386

20.11.3 5×2交叉验证配对t检验387

20.11.4 5×2交叉验证配对F检验387

20.12 多种算法的比较：方差分析388

20.13 对多个数据集进行比较391

20.13.1 比较两种算法391

20.13.2 比较多种算法392

20.14 多变量检验393

20.14.1 比较两种算法393

20.14.2 比较多种算法394

20.15 注释395

20.16 练习396

20.17 参考文献397

附录A 概率398

附录B 线性代数406

附录C 优化412