机器学习极简入门

1.针对AI入门读者，从很基本的原理及学习意义入手，以模型为驱动，带领读者吃透机器学习模型。
2.本书内含精心设计的数据量较小的简易版实例，让读者可以直观了解模型的运行原理。
3.作者总结了自身的实践经验，整理了构建数据集、选择特征、调参、验证模型的方法。
4.基本的原理+常见的案例+极小数据样本，助你轻松入门机器学习。
5.微软优选副总裁洪小文、微软技术官韦青等人作序推荐。
6.通过学习这本书，你将收获：
AI技术岗位求职知识储备
各大模型与算法触类旁通
极简版实例体验实际应用
配套数据+代码快速实操上手

本书从机器学习的基本原理入手，以常见模型为驱动，配以精心设计的实践案例，为大家呈现了机器学习理论知识和应用方法。书中运用 Python 语言及 scikit-learn 库实现了几大常见机器学习模型的训练程序和预测程序，让读者能够理论联系实际，在学习、工作中应用机器学习。
本书适合打算入门机器学习的人阅读。

李烨，微软算法工程师，擅长科普写作（笔名叶蒙蒙），曾就职于易安信和太阳微系统公司。具有十几年软件开发经验，自2010年开始从事大数据平台和人工智能产品研发，在人工智能技术的应用与产品开发上颇有心得。

第 一部分  绪论
第 1章  为什么要学原理和公式推导    2
1.1  学模型就要学公式推导吗    2
1.2  学习原理的必要性  3
第 2章  学习机器学习原理，改变看待世界的方式   6
2.1  破除迷信  6
2.2  追本溯源  7
2.3  精进看待世界的方法   8
第3章  如何学习机器学习     10
3.1  以模型为驱动，了解机器学习的本质     10
3.2  反复学习，从记忆到掌握  10
3.3  数学需要多精深  11
3.4  基本的数学概念  12
3.5  学机器学习，编程是必须的吗   13
3.6  日常学习小提示  14
第二部分  基本原理
第4章  机器是如何学习的     16
4.1  机器学习的基本原理  17
4.2  有监督学习与无监督学习  18
4.2.1  有监督学习   19
4.2.2  无监督学习   19
4.3  机器学习的三要素：数据、模型和算法  20
4.3.1  数据   20
4.3.2  模型   22
4.3.3  算法   24
第5章  模型的获取和改进     26
5.1  获取模型的过程  26
5.2  训练集、验证集和测试集  27
5.3  训练的过程   27
第6章  模型的质量和评价指标    30
6.1  分类模型评价指标：精确率、召回率和F1分数  30
6.2  指标对应的是模型和数据集    31
6.3  模型的偏差和过拟合  32
第7章  最常用的优化算法——梯度下降法   34
7.1  学习目标     34
7.2  凸函数   35
7.3  梯度下降法   37
7.4  梯度下降法的超参数  38
7.5  梯度下降的难点  39
第三部分  有监督学习（基础）
第8章  线性回归    42
8.1  第 一个机器学习模型  42
8.1.1  从数据反推公式    42
8.1.2  综合利用训练数据，拟合线性回归函数  44
8.1.3  线性回归的目标函数    44
8.1.4  线性=直线？  45
8.1.5  用线性回归模型拟合非线性关系   46
8.2  梯度下降法求解目标函数  47
8.2.1  确定目标函数的凸性    48
8.2.2  斜率、导数和偏微分    49
8.2.3  使用梯度下降法求解目标函数     51
8.2.4  通用线性回归模型的目标函数求解  52
8.2.5  线性回归的超参数  54
8.3  编写线性回归训练/预测程序   55
第9章  朴素贝叶斯分类器     57
9.1  分类与回归   57
9.2  贝叶斯定理   58
9.2.1  贝叶斯公式   58
9.2.2  常见的贝叶斯公式  59
9.3  用朴素贝叶斯算法进行分类    61
9.3.1  朴素贝叶斯算法    61
9.3.2  一款极简单的朴素贝叶斯分类器    62
9.4  条件概率的参数  66
9.4.1  两个学派  67
9.4.2  极大似然估计法    69
9.4.3  正态分布的极大似然估计   70
9.4.4  用代码实现朴素贝叶斯模型     72
第 10章  逻辑回归   74
10.1  非线性逻辑回归函数的由来   75
10.1.1  指数增长   75
10.1.2  逻辑函数   76
10.1.3  追本溯源的理论学习  79
10.1.4  线性与非线性    80
10.2  用来做分类的回归模型    81
10.2.1  逻辑回归的模型函数  81
10.2.2  逻辑回归的目标函数  82
10.3  实例及代码实现  85
10.4  处理多分类问题  88
第 11章  决策树     91
11.1  什么是决策树   91
11.1.1  直观理解决策树  91
11.1.2  构建决策树  93
11.2  几种常用算法   93
11.2.1  ID3    93
11.2.2  C4.5    94
11.2.3  CART   96
11.3  决策树告诉你去哪儿聚餐     98
11.3.1  训练数据   98
11.3.2  特征选取   98
11.3.3  用ID3算法构造分类树   100
11.3.4  后剪枝优化决策树   103
11.3.5  用决策树对餐馆进行分类  104
第四部分  有监督学习（进阶）
第 12章  SVM     108
12.1  线性可分和超平面  108
12.1.1  二分类问题     108
12.1.2  特征的向量空间模型    108
12.1.3  线性可分  109
12.1.4  超平面  110
12.2  线性可分SVM  111
12.3  直观理解拉格朗日乘子法    115
12.3.1  可视化函数及其约束条件  116
12.3.2  拉格朗日乘子法     118
12.4  对偶学习算法  124
12.4.1  对偶问题  124
12.4.2  强对偶性及求解对偶问题  126
12.4.3  通过对偶问题求解主问题  126
12.5  求解线性可分SVM 的目标函数   127
12.5.1  目标函数  127
12.5.2  线性可分SVM的对偶问题  128
12.5.3  使用对偶算法求解线性可分SVM的步骤   128
12.5.4  SMO 算法  133
12.6  线性SVM，间隔由硬到软   134
12.6.1  从线性可分SVM到线性SVM  134
12.6.2  对偶法最优化线性SVM 主问题  138
12.6.3  线性SVM 的支持向量   140
12.7  非线性SVM 和核函数    142
12.7.1  非线性分类问题     142
12.7.2  非线性SVM    144
12.7.3  核函数  145
12.7.4  数据归一化     149
第 13章  SVR     151
13.1  严格的线性回归   151
13.2  宽容的SVR    152
13.2.1  模型函数  152
13.2.2  原理   152
13.2.3  SVR 的两个松弛变量    153
13.3  SVR 的主问题和对偶问题    154
13.4  支持向量与求解线性模型参数    156
13.5  SVR 的核技巧  157
第 14章  直观认识 SVM 和 SVR  159
14.1  SVM 实例     159
14.1.1  线性可分SVM  159
14.1.2  线性SVM  162
14.1.3  完全线性不可分的数据  164
14.1.4  核函数的作用  166
14.1.5  RBF 核函数的威力   169
14.1.6  其他核函数     170
14.2  SVR 实例     171
第 15章  HMM    174
15.1  一些基本概念  174
15.2  数学中的HMM  176
15.3  HMM 的3个基本问题    178
15.4  一个例子   179
15.5  HMM 3个基本问题的计算   181
15.5.1  概率计算问题  181
15.5.2  预测算法  184
15.5.3  学习算法  185
15.6  HMM实例     186
第 16章  CRF   189
16.1  概率无向图模型   189
16.1.1  势函数和团     190
16.1.2  Hammersley-Clifford定理  190
16.1.3  性质   190
16.2  CRF  192
16.3  线性链CRF    193
16.3.1  线性链CRF的形式化表示  195
16.3.2  线型链CRF的3个基本问题       197
第五部分  无监督学习
第 17章  从有监督到无监督：由KNN引出K-means    202
17.1  发展趋势   204
17.2  KNN算法     205
17.2.1  KNN算法原理  205
17.2.2  有监督学习算法KNN与无监督学习算法K-means  205
17.2.3  KNN的K   206
第 18章  K-means——最简单的聚类算法  208
18.1  常用的几种距离计算方法    208
18.2  K-means   210
18.3  实例  214
第 19章  谱聚类——无须指定簇数量的聚类   217
19.1  算法实现   217
19.2  算法原理   219
19.3  实例  224
第 20章  EM算法——估计含有隐变量的概率模型的参数  226
20.1  含有隐变量的概率模型  226
20.2  EM算法基本思想  227
20.2.1  近似极大化     227
20.2.2  真正的目标     229
20.3  EM算法的推导过程     230
20.3.1  优化目标  230
20.3.2  应用EM算法  230
20.4  EM算法步骤   233
第 21章  GMM    235
21.1  将“混”在一起的样本各归其源  235
21.1.1  个体与集体     235
21.1.2  已知每个簇的原始分布  237
21.1.3  已知分布条件下的样本归属  238
21.1.4  学习概率密度函数参数  239
21.1.5  同分布的混合模型   241
21.2  用EM算法求解GMM    242
21.2.1  高斯分布  242
21.2.2  GMM  246
21.2.3  用EM算法学习GMM的参数  248
21.2.4  GMM实例  250
第 22章  PCA   253
22.1  利用数学工具提取主要特征  253
22.1.1  泛滥成灾的特征维度    253
22.1.2  降低数据维度  255
22.1.3  PCA的原则     256
22.1.4  PCA的优化目标    257
22.2  用SVD实现PCA  262
22.2.1  PCA优化算法  262
22.2.2  PCA的作用     263
22.2.3  SVD   264
22.2.4  用SVD实现PCA    266
22.2.5  直接用SVD降维    266
22.2.6  SVD&PCA实例    267
第六部分  机器学习应用
第 23章  认识聊天机器人    272
23.1  聊天机器人的基本类型  272
23.2  世界上第 一款聊天机器人    273
23.3  聊天机器人简史   274
23.4  聊天机器人的实现技术  276
第 24章  开发一款问题解决型机器人    278
24.1  回答问题的基础三步     278
24.2  多轮对话的上下文管理  278
24.3  分层结构   279
24.4  极简版系统架构   280
24.5  开发流程   283
第 25章  聊天机器人的语言理解  285
25.1  收集语料   286
25.2  标注数据   286
25.3  划分数据集    287
25.4  构建向量空间模型  288
25.5  训练模型   290
25.6  测试模型   292
第 26章  应用聚类模型获得聊天机器人语料   293
26.1  从用户日志中挖掘训练语料  293
26.2  语料对标注的影响  294
26.3  分析用户日志  294
26.4  对用户日志语料进行聚类    295
第七部分  从机器学习到深度学习
第 27章  人工智能和神经网络    298
27.1  人工智能、机器学习和深度学习  298
27.2  什么是神经网络   300
27.3  神经网络的训练   302
第 28章  深度学习的兴起和发展  305
28.1  神经网络的历史沿革     305
28.2  认识深度学习  307
28.3  不同种类的深度学习网络    307
28.3.1  CNN  307
28.3.2  RNN  309
28.3.3  LSTM  310
第 29章  深度学习的愿景、问题和应用     313
29.1  深度学习的愿景   313
29.2  深度学习的现实   314
29.3  机器学习与深度学习     314
29.4  深度学习的落地点  315
29.4.1  语音处理  315
29.4.2  图像处理  316
29.4.3  自然语言处理  317
29.5  深度学习的局限   317

本书用通俗易懂的语言，系统而又深入浅出地介绍了机器学习的主要算法，以及这些算法的“前世今生”。书中列举的例子生动有趣，而且结合了作者丰富的工作经验，能够让读者迅速抓住和领悟机器学习的思维重点和算法精髓，从而更好地将所学知识应用到编程中。本书对培养数字思维以及推进数字技能教育大有裨益，是人工智能的普及性读本。
——洪小文
微软优选副总裁
微软亚太研发集团主席

市面上有关机器学习的书可以说是汗牛充栋，有的侧重于算法，有的侧重于应用，有的侧重于原理，有的侧重于推导……但其实，能够把机器学习原理说清楚，做到既不神化，又不妖魔化，同时不忽略基本数学原理的推导与实现的书很少见，本书是其中难得的佳作。而且本书作者用通俗易懂的语言结合生活中常见的例子，把机器学习的原理讲得明明白白，并对容易产生学习误区的地方进行提示性解释，在我看来，这保证是本书的亮点之一。
——韦青
微软（中国）技术官

作为新基建的一环，国家将人工智能提升到重要战略的高度，而机器学习可谓踏入人工智能领域的级台阶。本书以一种轻松的方式引导读者逐步深入了解机器学习理论，并给出了很多动手实践的小例子，带领读者手脑并用地学习。大家可以使用本书同步进行模型训练和预测，不但能掌握理论，还可以运用学到的知识解决实际问题。

——陶建华
中国科学院自动化研究所研究员
中国科学院大学首席教授
国家杰出青年基金获得者
国家万人计划领军人才


《机器学习极简入门》关注读者学习机器学习的感受，借鉴由表及里、由浅入深、由简至繁的教学思路，讲解经典机器学习的模型、数学原理及推导过程。本书通过简单、直观、生动的表述方法来阐述深刻的学科原理，有效降低了阅读难度，激发了各类读者对机器学习的兴趣，让大家享受递进式学习的快乐。
——熊璋
北京航空航天大学教授
国家教材委员会科学学科专家委员会委员
863智慧城市（一期）首席科学家
教育部跨世纪人才，全国很好教师

这是一本可读性极强的书，其娓娓道来的铺陈方式让读者轻松一览机器学习技术的基本内容，既有宏观视野，又有点到为止的细节。读者不仅能马上感到“知道了”，而且还能感到“用得上”。
——李晓明
北京大学计算机系教授