机器学习的数学

·上海交通大学特别研究员、阿里巴巴、百度算法专家、优酷首席科学家、谷歌机器学习开发者专家力荐教材
·透彻地理解机器学习算法，从数学层面搞懂这些核心算法原理的逻辑，具备推导和证明算法的能力
·在解决人工智能工程实践的问题中，能够用数学知识进行分析和建模
·精准覆盖人工智能领域中机器学习、深度学习、强化学习相关的数学知识
·从机器学习应用的角度讲授数学，让数学在机器学习中的应用无缝衔接
·涵盖概率论、信息论、很优化方法等机器学习中的目标函数构造、模型优化以及各种机器学习算法的核心知识
·囊括了微积分和线性代数等基本数学知识

本书的目标是帮助读者全面、系统地学习机器学习所必须的数学知识。全书由8章组成，力求精准、很小地覆盖机器学习的数学知识。包括微积分，线性代数与矩阵论，很优化方法，概率论，信息论，随机过程，以及图论。本书从机器学习的角度讲授这些数学知识，对它们在该领域的应用举例说明，使读者对某些抽象的数学知识和理论的实际应用有直观、具体的认识。 本书内容紧凑，结构清晰，深入浅出，讲解详细。可用作计算机、人工智能、电子工程、自动化、数学等相关专业的教材与教学参考书。对人工智能领域的工程技术人员与产品研发人员，本书也有很强的参考价值。对于广大数学与应用的数学爱好者，本书亦为适合自学的读本。

雷明，资深机器学习、机器视觉专家。毕业于清华大学计算机系，研究方向为机器视觉、机器学习，曾发表论文数篇。《机器学习-原理、算法与应用》畅销书作者。曾任百度项目经理；zmodo/meShare公司CTO、平台研发中心负责人。SIGAI创始人，致力于研发零编程、可视化的机器视觉框架，用标准化的算法赋能各个行业。

章一元函数微积分1
1.1  极限与连续  1
1.1.1  可数集与不可数集  1
1.1.2  数列的极限  3
1.1.3  函数的极限  7
1.1.4  函数的连续性与间断点  9
1.1.5  上确界与下确界  11
1.1.6  李普希茨连续性  12
1.1.7  无穷小量  13
1.2  导数与微分  14
1.2.1  一阶导数  14
1.2.2  机器学习中的常用函数  20
1.2.3  高阶导数  22
1.2.4  微分  24
1.2.5  导数与函数的单调性  25
1.2.6  极值判别法则  26
1.2.7  导数与函数的凹凸性  28
1.3  微分中值定理  29
1.3.1  罗尔中值定理  29
1.3.2  拉格朗日中值定理  29
1.3.3  柯西中值定理  31
1.4  泰勒公式  31
1.5  不定积分  33
1.5.1  不定积分的定义与性质  33
1.5.2  换元积分法  35
1.5.3  分部积分法  36
1.6  定积分  37
1.6.1  定积分的定义与性质  38
1.6.2  牛顿-莱布尼茨公式  39
1.6.3  定积分的计算  40
1.6.4  变上限积分  41
1.6.5  定积分的应用  42
1.6.6  广义积分  44
1.7  常微分方程  45
1.7.1  基本概念  45
1.7.2  一阶线性微分方程  46
第2  章线性代数与矩阵论49
2.1  向量及其运算  49
2.1.1  基本概念  49
2.1.2  基本运算  51
2.1.3  向量的范数  53
2.1.4  解析几何  55
2.1.5  线性相关性  57
2.1.6  向量空间  58
2.1.7  应用——线性回归  61
2.1.8  应用——线性分类器与支持
向量机  62
2.2  矩阵及其运算  65
2.2.1  基本概念  65
2.2.2  基本运算  67
2.2.3  逆矩阵  72
2.2.4  矩阵的范数  78
2.2.5  应用——人工神经网络  78
2.2.6  线性变换  81
2.3  行列式  82
2.3.1  行列式的定义与性质  83
2.3.2  计算方法  91
2.4  线性方程组  92
2.4.1  高斯消元法  92
2.4.2  齐次方程组  93
2.4.3  非齐次方程组  95
2.5  特征值与特征向量  97
2.5.1  特征值与特征向量  97
2.5.2  相似变换  105
2.5.3  正交变换  106
2.5.4  QR 算法  110
2.5.5  广义特征值  112
2.5.6  瑞利商  112
2.5.7  谱范数与特征值的关系  114
2.5.8  条件数  114
2.5.9  应用——谱归一化与谱正则化  115
2.6  二次型  116
2.6.1  基本概念  116
2.6.2  正定二次型与正定矩阵  116
2.6.3  标准型  119
2.7  矩阵分解  121
2.7.1  楚列斯基分解  121
2.7.2  QR 分解  123
2.7.3  特征值分解  127
2.7.4  奇异值分解  128
第3  章多元函数微积分133
3.1  偏导数  133
3.1.1  一阶偏导数  133
3.1.2  高阶偏导数  134
3.1.3  全微分  136
3.1.4  链式法则  136
3.2  梯度与方向导数  138
3.2.1  梯度  138
3.2.2  方向导数  139
3.2.3  应用——边缘检测与HOG
特征  139
3.3  黑塞矩阵  140
3.3.1  黑塞矩阵的定义与性质  141
3.3.2  凹凸性  141
3.3.3  极值判别法则  143
3.3.4  应用——最小二乘法  145
3.4  雅可比矩阵  146
3.4.1  雅可比矩阵的定义和性质  146
3.4.2  链式法则的矩阵形式  148
3.5  向量与矩阵求导  150
3.5.1  常用求导公式  150
3.5.2  应用——反向传播算法  154
3.6  微分算法  156
3.6.1  符号微分  156
3.6.2  数值微分  157
3.6.3  自动微分  158
3.7  泰勒公式  159
3.8  多重积分  161
3.8.1  二重积分  161
3.8.2  三重积分  164
3.8.3  n 重积分  167
3.9  无穷级数  170
3.9.1  常数项级数  170
3.9.2  函数项级数  173
第4  章最优化方法176
4.1  基本概念  176
4.1.1  问题定义  177
4.1.2  迭代法的基本思想  179
4.2  一阶优化算法  180
4.2.1  梯度下降法  180
4.2.2  最速下降法  183
4.2.3  梯度下降法的改进  184
4.2.4  随机梯度下降法  186
4.2.5  应用——人工神经网络  187
4.3  二阶优化算法  188
4.3.1  牛顿法  188
4.3.2  拟牛顿法  189
4.4  分治法  193
4.4.1  坐标下降法  193
4.4.2  SMO 算法  194
4.4.3  分阶段优化  195
4.4.4  应用——logistic 回归  196
4.5  凸优化问题  198
4.5.1  数值优化算法面临的问题  198
4.5.2  凸集  199
4.5.3  凸优化问题及其性质  200
4.5.4  机器学习中的凸优化问题  201
4.6  带约束的优化问题  202
4.6.1  拉格朗日乘数法  202
4.6.2  应用——线性判别分析  204
4.6.3  拉格朗日对偶  205
4.6.4  KKT 条件  208
4.6.5  应用——支持向量机  209
4.7  多目标优化问题  213
4.7.1  基本概念  213
4.7.2  求解算法  215
4.7.3  应用——多目标神经结构搜
索  215
4.8  泛函极值与变分法  216
4.8.1  泛函与变分  217
4.8.2  欧拉—拉格朗日方程  218
4.8.3  应用——证明两点之间直线
最短  220
4.9  目标函数的构造  221
4.9.1  有监督学习  221
4.9.2  无监督学习  224
4.9.3  强化学习  225
第5  章概率论228
5.1  随机事件与概率  229
5.1.1  随机事件概率  229
5.1.2  条件概率  233
5.1.3  全概率公式  234
5.1.4  贝叶斯公式  235
5.1.5  条件独立  236
5.2  随机变量  236
5.2.1  离散型随机变量  236
5.2.2  连续型随机变量  237
5.2.3  数学期望  240
5.2.4  方差与标准差  242
5.2.5  Jensen 不等式  243
5.3  常用概率分布  244
5.3.1  均匀分布  244
5.3.2  伯努利分布  246
5.3.3  二项分布  247
5.3.4  多项分布  248
5.3.5  几何分布  249
5.3.6  正态分布  250
5.3.7  t 分布  252
5.3.8  应用——颜色直方图  253
5.3.9  应用——贝叶斯分类器  254
5.4  分布变换  254
5.4.1  随机变量函数  254
5.4.2  逆变换采样算法  256
5.5  随机向量  258
5.5.1  离散型随机向量  258
5.5.2  连续型随机向量  260
5.5.3  数学期望  261
5.5.4  协方差  262
5.5.5  常用概率分布  265
5.5.6  分布变换  268
5.5.7  应用——高斯混合模型  269
5.6  极限定理  271
5.6.1  切比雪夫不等式  271
5.6.2  大数定律  271
5.6.3  中心极限定理  273
5.7  参数估计  273
5.7.1  优选似然估计  274
5.7.2  优选后验概率估计  276
5.7.3  贝叶斯估计  278
5.7.4  核密度估计  278
5.7.5  应用——logistic 回归  280
5.7.6  应用——EM 算法  282
5.7.7  应用——Mean Shift 算法  286
5.8  随机算法  288
5.8.1  基本随机数生成算法  288
5.8.2  遗传算法  290
5.8.3  蒙特卡洛算法  293
5.9  采样算法  295
5.9.1  拒绝采样  296
5.9.2  重要性采样  297
第6  章信息论298
6.1  熵与联合熵  298
6.1.1  信息量与熵  298
6.1.2  熵的性质  300
6.1.3  应用——决策树  302
6.1.4  联合熵  303
6.2  交叉熵  305
6.2.1  交叉熵的定义  306
6.2.2  交叉熵的性质  306
6.2.3  应用——softmax 回归  307
6.3  Kullback-Leibler 散度  309
6.3.1  KL 散度的定义  309
6.3.2  KL 散度的性质  311
6.3.3  与交叉熵的关系  312
6.3.4  应用——流形降维  312
6.3.5  应用——变分推断  313
6.4  Jensen-Shannon 散度  316
6.4.1  JS 散度的定义  316
6.4.2  JS 散度的性质  316
6.4.3  应用——生成对抗网络  317
6.5  互信息  320
6.5.1  互信息的定义  320
6.5.2  互信息的性质  321
6.5.3  与熵的关系  322
6.5.4  应用——特征选择  323
6.6  条件熵  324
6.6.1  条件熵定义  324
6.6.2  条件熵的性质  325
6.6.3  与熵以及互信息的关系  325
6.7  总结  326
第7  章随机过程328
7.1  马尔可夫过程  328
7.1.1  马尔可夫性  329
7.1.2  马尔可夫链的基本概念  330
7.1.3  状态的性质与分类  333
7.1.4  平稳分布与极限分布  337
7.1.5  细致平衡条件  342
7.1.6  应用——隐马尔可夫模型  343
7.1.7  应用——强化学习  345
7.2  马尔可夫链采样算法  348
7.2.1  基本马尔可夫链采样  349
7.2.2  MCMC 采样算法  349
7.2.3  Metropolis-Hastings 算法  351
7.2.4  Gibbs 算法  353
7.3  高斯过程  355
7.3.1  高斯过程性质  355
7.3.2  高斯过程回归  355
7.3.3  应用——贝叶斯优化  358
第8  章图论363
8.1  图的基本概念  363
8.1.1  基本概念  363
8.1.2  应用——计算图与自动微分  365
8.1.3  应用——概率图模型  370
8.1.4  邻接矩阵与加权度矩阵  371
8.1.5  应用——样本集的相似度图  372
8.2  若干特殊的图  373
8.2.1  联通图  373
8.2.2  二部图  374
8.2.3  应用——受限玻尔兹曼机  374
8.2.4  有向无环图  376
8.2.5  应用——神经结构搜索  376
8.3  重要的算法  380
8.3.1  遍历算法  380
8.3.2  最短路径算法  381
8.3.3  拓扑排序算法  382
8.4  谱图理论  384
8.4.1  拉普拉斯矩阵  385
8.4.2  归一化拉普拉斯矩阵  388
8.4.3  应用——流形降维  390

工欲善其事，必先利其器
自 1956 年达特茅斯会议至今，人工智能已发展 60 年有余。尤其在很近这 10 年中，随着存 储能力和计算能力的不断提升，人工智能迎来了迅猛的发展，开始在金融、医疗、教育、公共安 全等方面发挥出巨大的作用。其中关于大数据、深度学习、智能芯片等新型领域的研究催生了刷 脸支付、智能音箱、以图搜图、智能翻译等新的应用场景和产品，这不仅推动了人类社会的进步， 还极大地改变了人们的生活。人工智能引领了一场崭新的技术变革，在科技的赋能下，诸多行业 将会快速发展。
放眼世界，人工智能正成为靠前竞争的新焦点。2018 年，欧盟委员会宣布在人工智能领域采 取三大措施，以促进相关的教育和培训体系升级。回首国内，国务院于 2017 年发布了《新一代 人工智能发展规划》，提出了要建立新一代人工智能关键共性技术体系。现如今，学术界对人工 智能的研究方兴未艾，呈现出高校与企业共同发展、相辅相成的局面。我国各大知名高校（包括 清华大学、上海交通大学、南京大学、西安电子科技大学等）陆续成立了人工智能研究院/学院， 旨在推动人工智能在学术领域的发展。在工业界，不仅阿里巴巴、腾讯、百度等企业率先跻身于 人工智能领域，引领了人工智能技术在国内的落地与发展，与此同时，以商汤、旷视、依图等为 代表的人工智能“独角兽”企业也在快速发展。人工智能技术的发展可期！
《机器学习的数学》一书覆盖了人工智能领域中与机器学习相关的数学知识体系，不仅囊括 了微积分和线性代数等基本数学原理，还详细讲解了概率论、信息论、很优化方法等诸多内容， 这些知识是机器学习中的目标函数构造、模型优化以及各种机器学习算法的核心和基础。本书希 望通过对数学知识的讲解帮助读者深刻理解算法背后的机理，并厘清各种算法之间的内在联系。 本书重视理论与实践相结合，在讲解数学知识的同时也对其在机器学习领域的实际应用进行了举 例说明，方便读者更具象化地理解抽象的数学理论，同时对机器学习算法有更深刻的认识。 本书语言精练，条理清晰，内容翔实全面，公式推导严格周密，将理论与工程实践相结合， 展示了机器学习方法背后的数学原理，是集专业性与通俗性为一体的上乘之作。通过本书，初学 者可以奠定扎实的数学基础，从而为后续掌握机器学习的具体技术和应用铺平道路。从业者也可 以利用本书强化巩固基础知识，从技术背后的数学本质出发来解决工程问题。
仰之弥高，钻之弥坚。人工智能的大厦越建越高，终会长久屹立于人类科技历史之中。开卷有 益，希望本书能够帮助读者认识和理解机器学习的数学原理，助力读者在人工智能领域大放异彩！
严骏驰
上海交通大学特别研究员