阿里测试之道

本书是阿里巴巴集团自成立以来第一本全面记录阿里测试技术的书籍。围绕测试团队经常面临的困局，介绍了一系列技术创新、经验和方法。结合电商、移动、搜索、推荐、广告、IoT、金融、物流等业务场景，总结了阿里在大促保障、移动App测试、大数据测试、AI系统测试、云计算测试、资损防控、物流类测试等领域的方法、技术和工具平台，以及故障快恢、灰度发布、突袭演练等安全生产技术。全书聚焦技术亮点和增量，总结实战经验和教训，呈现技术体系和思考，与业界同人交流。本书适合互联网行业中的不错测试管理和技术人员阅读，这些人员有比较深厚的测试基础，面对诸多质量挑战，迫切需要寻求测试技术的突破以支撑业务的快速增长。对于想在类似业务领域建立完整测试体系的从业人员，无论经验背景如何，本书都将提供一些有益的启发。对于高校学生和学术界科研人员，本书也提供了一个了解阿里测试实践的窗口。

目 录

第 1 章 测试团队的发展之路 .................................................................................... 1
1.1 测试团队面临的困局 ........................................................................................... 1
1.2 建立代码门禁 ....................................................................................................... 2
1.2.1 什么是代码门禁 ....................................................................................... 3
1.2.2 代码门禁的效果 ....................................................................................... 3
1.2.3 落地和优化 ............................................................................................... 4
1.2.4 更多的用途 ............................................................................................... 5
1.3 理解测试的本质 ................................................................................................... 5
1.4 缩短反馈弧 ........................................................................................................... 7
1.4.1 为什么缩短反馈弧是关键 ....................................................................... 7
1.4.2 怎么才算反馈弧短 ................................................................................... 8
1.4.3 缩短反馈弧的成本和投入产出比 ........................................................... 9
1.5 提升测试的稳定性 ............................................................................................. 10
1.5.1 高频 ......................................................................................................... 10
1.5.2 隔离 ......................................................................................................... 13
1.5.3 用完即抛 ................................................................................................. 14
1.5.4 不自动重跑 ............................................................................................. 15
1.6 提升测试的有效性 ............................................................................................. 16
1.6.1 测试有效性需要面对的挑战 ................................................................. 16
1.6.2 变异测试和 Bug 注入 ............................................................................ 17
1.6.3 更多的注入类型 ..................................................................................... 21
1.7 提升测试的充分性 ............................................................................................. 25
1.7.1 用例自动生成 ......................................................................................... 25
1.7.2 业务覆盖率度量 ..................................................................................... 30
1.8 从测到不测 ......................................................................................................... 31
1.8.1 防错设计 ................................................................................................. 31
1.8.2 静态代码分析和 Bug 自动识别 ............................................................ 41
1.9 本章小结 ............................................................................................................. 42
第 2 章 大促质量保障 ............................................................................................. 44
2.1 大促全链路的风险与挑战 ................................................................................. 44
2.1.1 优选优选流量洪峰下的高可用挑战 ..................................................... 44
2.1.2 纷繁复杂的用户场景 ............................................................................. 45
2.1.3 无处不在的用户体验 ............................................................................. 46
2.1.4 三位一体的保障体系 ............................................................................. 46
2.2 全链路压测 ......................................................................................................... 47
2.2.1 全链路影子体系 ..................................................................................... 47
2.2.2 全链路压测模型 ..................................................................................... 48
2.2.3 全链路压测执行策略 ............................................................................. 49
2.2.4 常态化智能压测 ..................................................................................... 50
2.3 全链路功能 ......................................................................................................... 52
2.3.1 统一环境隔离 ......................................................................................... 52
2.3.2 全链路影子数据 ..................................................................................... 54
2.3.3 全链路大促用例精简 ............................................................................. 56
2.4 全民预演 ............................................................................................................. 59
2.4.1 什么是全民预演 ..................................................................................... 59
2.4.2 全民预演的核心目标 ............................................................................. 60
2.4.3 全民预演如何实施 ................................................................................. 61
2.4.4 预演执行策略的制定 ............................................................................. 63
2.4.5 预演问题的收集和跟进 ......................................................................... 64
2.4.6 大促持续集成 ......................................................................................... 64
2.4.7 全民预演平台化支撑 ............................................................................. 65
2.5 预案开关 ............................................................................................................. 68
2.5.1 预案的使用场景 ..................................................................................... 68
2.5.2 预案评估方式 ......................................................................................... 69
2.5.3 预案流程 ................................................................................................. 70
2.5.4 预案平台 ................................................................................................. 70
2.5.5 预案与攻防 ............................................................................................. 72
2.5.6 预案的目标与展望 ................................................................................. 72
2.6 全链路预热 ......................................................................................................... 73
2.6.1 解法 ......................................................................................................... 73
2.6.2 适用的业务场景 ..................................................................................... 75
2.6.3 核心应用场景 ......................................................................................... 76
2.7 快速扩/缩容 ........................................................................................................ 78
2.7.1 分析 ......................................................................................................... 79
2.7.2 方案 ......................................................................................................... 79
2.7.3 优化 ......................................................................................................... 80
2.7.4 演练 ......................................................................................................... 84
2.7.5 效果 ......................................................................................................... 84
2.7.6 展望 ......................................................................................................... 85
2.8 风控识别引擎压测 ............................................................................................. 85
2.8.1 分析问题 ................................................................................................. 86
2.8.2 延伸 ......................................................................................................... 89
2.9 本章小结 ............................................................................................................. 89
第 3 章 移动 App 测试 ............................................................................................ 90
3.1 移动 App 测试的主要类型、方法和工具 ......................................................... 90
3.1.1 功能性测试――从手工到自动化 ......................................................... 90
3.1.2 专项测试――从简单到专业好用 ......................................................... 95
3.1.3 稳定性测试――智能化测试的初次尝试 ............................................. 99
3.1.4 兼容性测试――智能推荐 ................................................................... 109
3.2 移动测试的标准、流程和经验 ....................................................................... 125
3.2.1 深度专项验收――大促 ....................................................................... 125
3.2.2 前端发布管控 ....................................................................................... 127
3.2.3 客户端代码持续集成 ........................................................................... 132
3.3 移动端线上质量保障 ....................................................................................... 140
3.3.1 性能监控 ............................................................................................... 140
3.3.2 性能分级与降级 ................................................................................... 146
第 4 章 大数据测试 .............................................................................................. 151
4.1 大数据应用测试的介绍 ................................................................................... 151
4.1.1 大数据应用测试要解决的问题是什么 ............................................... 151
4.1.2 大数据应用的技术质量体系综述 ....................................................... 153
4.2 算法系统质量 ................................................................................................... 155
4.2.1 算法测试的定义 ................................................................................... 155
4.2.2 算法工程质量 ....................................................................................... 156
4.2.3 特征质量与评估 ................................................................................... 162
4.2.4 模型质量的评估 ................................................................................... 163
4.2.5 深度学习平台质量（大规模分布式训练系统的测试） ................... 167
4.3 工程系统质量 ................................................................................................... 168
4.3.1 功能测试平台 Markov ......................................................................... 168
4.3.2 无人值守的性能测试 ........................................................................... 182
4.4 效果评估 ........................................................................................................... 185
4.4.1 效果评估的挑战 ................................................................................... 186
4.4.2 用户体验保障 ....................................................................................... 186
4.5 对大数据应用测试的预判 ............................................................................... 190
第 5 章 AI 系统测试 .............................................................................................. 193
5.1 语音类产品测试――智能音箱测试 ................................................................ 193
5.1.1 智能音箱业务介绍 ............................................................................... 193
5.1.2 语音类产品测试的挑战 ....................................................................... 195
5.1.3 天猫精灵测试策略 ............................................................................... 196
5.1.4 端端语音测试 ....................................................................................... 197
5.1.5 算法评测 ............................................................................................... 208
5.1.6 总结 ....................................................................................................... 211
5.2 计算机视觉类产品测试方案 ........................................................................... 211
5.2.1 计算机视觉类业务流程介绍 ............................................................... 212
5.2.2 计算机视觉类测试分析 ....................................................................... 215
5.2.3 计算机视觉类测试方案 ....................................................................... 217
5.2.4 总结 ....................................................................................................... 230
第 6 章 云计算测试 .............................................................................................. 231
6.1 专有云质量定义及挑战 ................................................................................... 231
6.2 高可用测试――坚如磐石 ................................................................................ 233
6.2.1 设计思想 ............................................................................................... 233
6.2.2 异常模拟 ............................................................................................... 234
6.2.3 复杂场景测试 ....................................................................................... 235
6.2.4 自动化测试 ........................................................................................... 236
6.3 性能容量压测――分层覆盖 ............................................................................ 238
6.3.1 单产品性能――基础能力 ................................................................... 239
6.3.2 平台性能容量――集成视角 ............................................................... 240
6.3.3 用户场景性能――业务视角 ............................................................... 242
6.4 热升级――给飞行中的飞机更换发动机 ........................................................ 244
6.4.1 技术原理 ............................................................................................... 244
6.4.2 测试挑战 ............................................................................................... 245
6.5 用户场景测试――知己知彼 ............................................................................ 247
第 7 章 金融类测试之资损风险防控 ..................................................................... 251
7.1 资损风险防控体系 ........................................................................................... 251
7.1.1 怎么防 ................................................................................................... 252
7.1.2 怎么控 ................................................................................................... 252
7.1.3 止损 ....................................................................................................... 252
7.2 资损风险防范 ................................................................................................... 253
7.2.1 资金产品测试要点 ............................................................................... 253
7.2.2 资金系统测试要点 ............................................................................... 255
7.2.3 资金项目变更规范 ............................................................................... 266
7.2.4 资金测试框架/平台 .............................................................................. 268
7.3 资损风险识别 ................................................................................................... 271
7.3.1 数据核对体系 ....................................................................................... 271
7.3.2 数据核对平台 ....................................................................................... 275
7.4 资损风险应急 ................................................................................................... 278
7.5 资损防控文化 ................................................................................................... 278
第 8 章 物流类测试 .............................................................................................. 280
8.1 物流类通用测试技术 ....................................................................................... 280
8.1.1 基于测试服务化的可编排测试 ........................................................... 280
8.1.2 基于业务流量的采集和回放平台 ....................................................... 283
8.2 仓储实操类测试技术 ....................................................................................... 285
8.2.1 仓储实操机器人业务介绍 ................................................................... 285
8.2.2 仓储实操机器人业务面临的质量挑战 ............................................... 285
8.2.3 仓储实操机器人自动化测试方案及结果 ........................................... 286
8.3 末端 IoT 设备测试技术 .................................................................................... 290
8.3.1 末端物流业务介绍 ............................................................................... 290
8.3.2 硬件服务与系统服务质量保证的挑战 ............................................... 291
8.3.3 阿里巴巴菜鸟末端 IoT 设备通用的测试产品及方案 ....................... 291
8.3.4 硬件服务与系统服务质量保障成果 ................................................... 296
8.4 全球化物流骨干网测试技术 ........................................................................... 298
8.4.1 全球化物流骨干网业务简介 ............................................................... 298
8.4.2 全球化物流骨干网质量挑战 ............................................................... 299
8.4.3 全球化物流骨干网测试方案 ............................................................... 300
第 9 章 安全生产 .................................................................................................. 303
9.1 资金安全 ........................................................................................................... 303
9.1.1 资损定义 ............................................................................................... 304
9.1.2 资损解决方法 ....................................................................................... 304
9.1.3 资金安全策略 ....................................................................................... 306
9.1.4 体系化解决方案 ................................................................................... 307
9.1.5 资金安全产品介绍 ............................................................................... 309
9.1.6 资金安全展望 ....................................................................................... 314
9.2 故障快恢 ........................................................................................................... 315
9.2.1 功能介绍 ............................................................................................... 315
9.2.2 关键技术 ............................................................................................... 316
9.3 灰度发布 ........................................................................................................... 318
9.3.1 抓手――变更三板斧 ........................................................................... 318
9.3.2 灰度生态建设 ....................................................................................... 319
9.3.3 灰度常坚守，安全无止境 ................................................................... 320
9.4 信息安全风险 ................................................................................................... 321
9.4.1 风险识别 ............................................................................................... 321
9.4.2 风险应对 ............................................................................................... 323
9.4.3 持续优化 ............................................................................................... 326
9.5 突袭演练 ........................................................................................................... 327
9.5.1 背景 ....................................................................................................... 327
9.5.2 突袭演练策略 ....................................................................................... 327
9.5.3 突袭演练技术大图 ............................................................................... 329
第 10 章 回顾和展望 ............................................................................................ 331
10.1 阿里测试的昨天和今天 ................................................................................. 331
10.2 测试是软件开发的一个领域 ......................................................................... 334
10.3 软件质量的挑战和不变量 ............................................................................. 336
10.4 展望未来 ......................................................................................................... 341
10.5 写在最后 ......................................................................................................... 347