数据挖掘算法导论

本书结合典型的数据挖掘案例，详细介绍了若干种重要的数据挖掘算法的实现原理和应用方法。其中，第1、2章介绍了回归、 分类、聚类的概念及其实现的主要方法，如线性回归、逻辑回归、K近邻和K均值；第3~5章介绍了数据挖掘的主要策略，如决策树、提升算法和支持向量机； 在前述知识的基础上，第6~8章介绍了实现人工智能算法的三种最基础网络结构，即人工神经网络、卷积神经网络、 长短时记忆网络。 通过阅读本书，读者既可以理解各种数据挖掘算法的实现原理，又可以掌握将算法应用于实际数据挖掘的一般流程和方法。
本书可作为高等院校理工科相关专业本科生、研究生的教材，也可供相关人员自学使用。

第1章 回归分析 1

1.1 模型 1

1.1.1 理解模型 1

1.1.2 回归模型 2

1.1.3 方差模型 5

1.2 线性回归模型应用 6

1.2.1 回归参数估计 7

1.2.2 回归方程选择 9

1.2.3 模型应用 11

1.3 逻辑回归 13

1.3.1 二分类问题 14

1.3.2 逻辑回归模型 15

1.3.3 模型求解 16

1.3.4 模型应用 18

本章小结 20

思考题 20

参考文献 20
第2章 K近邻与K均值 22

2.1 分类与聚类的区别 22

2.2 距离度量问题 23

2.2.1 数值向量距离 24

2.2.2 布尔向量距离 27

2.3 K近邻分类 30

2.3.1 算法描述 30

2.3.2 算法实现 33

2.3.3 应用案例 34

2.4 K均值聚类 36

2.4.1 算法描述 37

2.4.2 算法优化 39

2.4.3 应用案例 41

本章小结 43

思考题 43

参考文献 43
第3章 决策树 45

3.1 初识决策树 45

3.1.1 一般树简介 45

3.1.2 决策树简介 46

3.2 信息熵与信息增益 47

3.2.1 信息熵 47

3.2.2 条件熵 48

3.2.3 信息增益 49

3.3 决策树生成 50

3.3.1 基本概念 50

3.3.2 TDIDT算法 51

3.4 ID3算法与C4.5算法 52

3.4.1 ID3算法 52

3.4.2 C4.5算法 55

3.5 CART算法 57

3.5.1 基尼指数 58

3.5.2 生成决策树 58

3.5.3 缺失值处理 60

3.5.4 剪枝 61

3.5.5 应用案例 62

本章小结 64

思考题 65

参考文献 65
第4章 提升算法 66

4.1 三种常用的弱学习器集成方法 66

4.1.1 装袋法(Bagging) 67

4.1.2 提升法(Boosting) 67

4.1.3 堆叠法(Stacking) 68

4.2 AdaBoost算法与GBDT算法 69

4.2.1 AdaBoost算法 69

4.2.2 GBDT算法 71

4.3 XGBoost算法 73

4.3.1 核心思想 73

4.3.2 决策树生长算法 76

4.3.3 应用案例 78

本章小结 85

思考题 85

参考文献 85
第5章 支持向量机 87

5.1 支持向量机的相关概念 87

5.1.1 线性可分 87

5.1.2 间隔最大化 88

5.2 线性支持向量机 90

5.2.1 对偶问题 90

5.2.2 线性支持向量机学习算法 92

5.3 非线性支持向量机 94

5.3.1 核心思想 94

5.3.2 核函数的应用 95

5.3.3 常用核函数 97

5.3.4 非线性支持向量机学习算法 98

5.4 软间隔 99

5.4.1 软间隔定义 99

5.4.2 采用软间隔的支持向量机 100

5.5 应用案例 101

本章小结 103

思考题 103

参考文献 103
第6章 人工神经网络 105

6.1 人工智能的概念 105

6.1.1 图灵测试 105

6.1.2 人工智能的三种实现思路 106

6.1.3 神经网络 107

6.2 神经元模型 108

6.2.1 模型表示 108

6.2.2 实现基本逻辑运算 110

6.3 多层神经网络 113

6.3.1 模型表示 114

6.3.2 实现同或运算 115

6.3.3 代价函数 117

6.3.4 反向传播算法 119

6.4 应用案例 121

本章小结 122

思考题 122

参考文献 122
第7章 卷积神经网络 124

7.1 人类视觉系统的启发 124

7.1.1 人类视觉系统 125

7.1.2 卷积 125

7.2 CNN算法原理 127

7.2.1 CNN框架 127

7.2.2 卷积层 128

7.2.3 池化层 132

7.2.4 全连接层 134

7.3 CNN应用 135

7.3.1 LeNet5架构 135

7.3.2 AlexNet架构 137

7.3.3 GoogLeNet架构 138

7.3.4 应用案例 139

本章小结 141

思考题 141

参考文献 141
第8章 长短时记忆网络 143

8.1 序列 143

8.1.1 时间序列 143

8.1.2 序列学习 144

8.2 循环神经网络 145

8.2.1 结构 146

8.2.2 训练 148

8.2.3 特点 150

8.3 长短时记忆网络 151

8.3.1 网络结构及其前向计算 151

8.3.2 反向传播 153

8.3.3 应用案例 156

本章小结 158

思考题 159

参考文献 159