自动化机器学习

本书从自动化机器学习（AutoML）的基础知识出发，系统介绍AutoML的流程、方法，以及该领域的最新研究进展，重点阐述数据预处理、特征工程、模型选择、超参数优化和神经架构搜索（NAS）等方面的核心技术。内容不仅覆盖自动化传统机器学习方法，还包括自动化深度学习方法和高阶NAS策略。为了进一步强化理论与实践的结合，本书还介绍谷歌CloudAutoML、百度EasyDL、阿里云PAI等主流AutoML平台的应用实例，为读者提供丰富的实践参考。

目录
第1章 绪论 1
1.1 机器学习介绍 1
1.2 代表性机器学习应用 3
1.2.1 计算机视觉 3
1.2.2 自然语言处理 5
1.2.3 语音识别 6
1.3 AutoML介绍 7
1.3.1 研究动机 7
1.3.2 发展历程 8
1.3.3 研究意义 9
第2章 机器学习基础 11
2.1 机器学习流程 11
2.1.1 数据预处理 11
2.1.2 特征工程 12
2.1.3 模型生成 14
2.1.4 模型部署和使用 16
2.2 传统机器学习方法 16
2.2.1 k近邻法 16
2.2.2 支持向量机 19
2.2.3 决策树 25
2.2.4 随机森林 30
2.2.5 自适应增强 32
2.2.6 朴素贝叶斯法 33
2.2.7 期望最大化算法 36
2.3 深度学习方法 38
2.3.1 自编码器 38
2.3.2 深度信念网络 42
2.3.3 卷积神经网络 44
2.3.4 图神经网络 53
2.3.5 循环神经网络 56
2.3.6 Transformer方法 60
第3章 AutoML流程及方法 63
3.1 自动化传统机器学习 63
3.1.1 数据预处理 63
3.1.2 特征工程 64
3.1.3 模型选择与超参数优化 64
3.2 自动化深度学习 66
3.2.1 神经架构搜索 66
3.2.2 模型压缩与加速 67
3.3 经典自动化方法 67
3.3.1 网格/随机搜索 68
3.3.2 贝叶斯优化 68
3.3.3 强化学习 70
3.3.4 演化计算 77
3.3.5 梯度下降 87
第4章 自动化传统机器学习方法 90
4.1 自动化数据处理 90
4.1.1 数据收集 90
4.1.2 数据清洗 91
4.1.3 数据增广 95
4.1.4 现有自动化数据处理工具 96
4.2 自动化特征工程 97
4.2.1 特征构造 97
4.2.2 特征提取 98
4.2.3 特征选择 98
4.2.4 现有自动化特征工程工具 98
4.3 自动化模型选择与超参数优化 107
4.3.1 无模型的优化方法 107
4.3.2 基于模型的优化方法 108
4.3.3 多保真度超参数优化 115
4.3.4 常规模型选择与超参数优化工具 117
第5章 自动化深度学习基础 127
5.1 自动化深度学习特点 127
5.2 神经架构搜索流程概述 128
5.3 搜索空间 129
5.3.1 层级搜索空间 129
5.3.2 基于block的搜索空间 130
5.3.3 基于cell的搜索空间 131
5.3.4 基于拓扑结构的空间 132
5.4 搜索策略 133
5.4.1 基于强化学习的搜索策略 133
5.4.2 基于梯度的搜索策略 134
5.4.3 基于演化计算的搜索策略 135
5.5 性能评估策略 138
5.5.1 传统评估方法 139
5.5.2 低保真度估计 139
5.5.3 种群记忆 140
5.5.4 学习曲线外推法 140
5.5.5 权重继承 141
5.5.6 权重共享 142
5.5.7 网络态射 142
5.5.8 性能预测器 144
第6章 自动化深度学习方法 146
6.1 基于强化学习的NAS 146
6.1.1 策略学习 146
6.1.2 价值学习 150
6.1.3 组合方法 154
6.2 基于梯度的NAS 156
6.2.1 连续松弛 157
6.2.2 概率建模 162
6.3 基于演化计算的NAS 168
6.3.1 EA 搜索策略 168
6.3.2 SI 搜索策略 207
6.4 自动化模型压缩与加速 217
6.4.1 轻量化搜索空间设计 217
6.4.2 轻量化模型搜索策略 222
6.4.3 自动化模型压缩技术 228
第7章 高阶NAS 233
7.1 加速评估NAS 的性能预测器 233
7.1.1 端到端性能预测器E2EPP 233
7.1.2 架构增广的性能预测器HAAP 239
7.1.3 跨域预测器CDP 245
7.1.4 自监督学习的性能预测器CAP 251
7.2 面向准确鲁棒神经架构的NAS 257
7.2.1 研究背景 257
7.2.2 研究动机 258
7.2.3 算法流程 259
7.3 面向轻量化鲁棒神经架构的NAS 262
7.3.1 研究背景 262
7.3.2 研究动机 262
7.3.3 算法流程 263
7.4 架构驱动的持续学习方法 266
7.4.1 研究背景 267
7.4.2 研究动机 268
7.4.3 算法流程 269
第8章 AutoML 平台 272
8.1 现有平台概述 272
8.2 谷歌Cloud AutoML 273
8.3 百度EasyDL 276
8.4 阿里云PAI 277
8.4.1 功能特点 277
8.4.2 应用优势 279
8.5 第四范式AI Prophet AutoML 279
8.5.1 功能特点 279
8.5.2 应用优势 280
8.6 微软NNI 281
8.6.1 特征工程 282
8.6.2 超参调优 282
8.6.3 架构搜索 283
8.6.4 模型压缩 284
8.7 EvoXBench 285
8.8 BenchENAS 287
8.8.1 运行器 289
8.8.2 评估器 290
8.8.3 比较器 293
8.9 其他AutoML 工具 293
8.9.1 Hyperopt 293
8.9.2 GPyOpt 295
8.9.3 SMAC 296
8.9.4 HpBandSter 298
参考文献 301
后记 319