大模型实战：生成式AI原理、方法与最佳实践

1. 覆盖全场景需求，兼顾理论与实践
2. 适配多元读者，内容全面且实用性强
3. 内容体系科学，从基础到高阶循序渐进
4. 聚焦企业落地，兼顾前沿性与实用性
5. 学习资源丰富，支持互动与持续提升

本书系统地介绍了生成式AI 的理论基础、先进应用与部署实践，内容循序渐进，兼顾理论与实践。第一部分围绕大语言模型的基本概念与多模态应用展开，帮助读者建立坚实的认知框架。第二部分深入探讨提示工程、数据集成、模型微调等关键技术，旨在提高读者的AI 应用开发能力。第三部分则聚焦生产环境中的架构设计、扩展策略、性能评估与AI 伦理规范，为组织落地生成式AI 提供指导。本书以Azure OpenAI 和OpenAI 平台为核心，辅以大量实用示例代码，是生成式AI 的实践指南。
本书主要面向开发者、数据科学家和技术决策者，也适用于希望应用生成式AI的小型组织与初创团队。

阿米特·巴里（Amit Bahree）是微软的首席技术项目经理。他所在的工程团队利用Azure AI 平台为数百万客户构建新一代的AI 产品和服务。他还负责为核心客户进行平台级定制化开发，运用各种形式的AI（包括生成式AI）解决复杂的企业应用场景问题。Amit 是一位对技术具有狂热兴趣与深刻洞察力的专业人士，拥有近30 年的技术与产品开发经验，在应用研究、机器学习、AI 及云平台等领域具备深厚的背景。他热衷于打造强大且负责任的AI 产品，以推动行业变革并提升人们的生活质量。

第 一部分 生成式AI基础
第 1 章 生成式AI 简介 2
11 本书的内容 3
12 生成式AI 简介 4
13 生成式AI 的功能 7
131 实体提取 7
132 文本生成 8
133 图像生成 10
134 代码生成 11
135 逻辑问题求解 13
136 音乐生成 15
137 视频生成 16
14 企业应用案例 16
15 生成式AI 的局限性 17
16 生成式AI 与传统AI 的区别 18
17 企业应采取何种策略 20
18 架构考量 21
19 企业部署生成式AI 的流程 22
110 小结 23
第 2 章 大语言模型概述 24
21 基础模型简介 24
22 LLM简介 26
23 Transformer 架构 27
24 训练截止点 27
25 LLM的类型 28
26 小型语言模型 29
27 商业LLM 与开源LLM 31
271 商业LLM 32
272 开源LLM 32
28 LLM的核心概念 33
281 提示词 34
282 token 35
283 token 计数 38
284 嵌入 40
285 模型配置 42
286 上下文窗口 44
287 提示工程 45
288 模型适配 46
289 涌现行为 46
29 小结 50
第3 章 使用API：文本生成 51
31 模型类别 52
311 依赖项 53
312 模型列表 55
32 文本补全API 56
321 文本补全详解 59
322 Azure 内容安全过滤器 61
323 生成多个文本补全结果 61
324 控制随机性 63
325 使用top_p 控制随机性 66
33 文本补全API 的高级选项 67
331 流式补全 67
332 使用logit_bias 影响token
的生成概率 69
333 存在惩罚和频率惩罚 72
334 对数概率 73
34 聊天补全API 75
341 系统角色 77
342 结束原因 79
343 聊天补全API 在非聊天场景中
的应用 79
344 对话管理 80
345 管理token 的最佳实践 83
346 LLM及其供应商 83
35 小结 84
第4 章 从像素到图像：图像生成 85
41 视觉模型 85
411 VAE 88
412 GAN 89
413 视觉Transformer 模型 90
414 扩散模型 92
415 多模态模型 94
42 使用Stable Diffusion 生成图像 96
421 依赖项 96
422 图像生成 97
43 使用其他模型生成图像 100
431 OpenAI DALL·E 3 101
432 Bing 图像生成器 101
433 Adobe Firefly 102
44 使用Stable Diffusion 编辑和增强
图像 102
441 使用图生图API 生成图像 106
442 使用遮罩API 进行局部编辑 107
443 使用放大API 调整图像尺寸 109
444 图像生成技巧 111
45 小结 111
第5 章 AI 还能生成什么 113
51 代码生成 113
511 AI 生成的代码是否可信 115
512 GitHub Copilot 117
513 GitHub Copilot 的工作原理 120
52 其他代码相关任务 121
521 代码解释 121
522 生成测试代码 123
523 代码引用 124
524 代码重构 124
53 其他代码生成工具 125
531 Amazon CodeWhisperer 125
532 Code Llama 126
533 Tabnine 128
534 自我检查 128
535 代码生成的最佳实践 129
54 视频生成 130
55 音频和音乐生成 132
56 小结 133
第二部分 高级技术与应用
第6 章 提示工程指南 136
61 什么是提示工程 136
62 提示工程基础 138
63 上下文学习与上下文提示 141
64 提示工程技术 143
641 系统消息 143
642 零样本学习、少样本学习和
多样本学习 146
643 清晰的语法 148
644 让上下文学习发挥作用 149
645 推理：思维链 150
646 自一致性采样 154
65 图像提示 155
66 提示词注入 157
67 提示工程面临的挑战 159
68 最佳实践 160
69 小结 161
第7 章 检索增强生成：秘密武器 162
71 什么是RAG 162
72 RAG 的优势 163
73 RAG 架构 165
74 检索器系统 166
75 理解向量数据库 167
751 什么是向量索引 168
752 向量搜索 168
76 RAG 系统面临的挑战 171
77 应对分块的挑战 172
771 分块策略 172
772 影响分块策略的因素 173
773 应对未知的复杂性 176
774 句子分块 177
775 基于NLP 的分块方法 178
78 PDF 分块 183
79 小结 186
第8 章 与数据对话 187
81 企业使用自有数据的优势 187
811 更大的上下文窗口 188
812 使用自有数据构建聊天应用
程序 189
82 使用向量数据库 190
83 信息检索规划 193
84 数据检索 200
85 使用Redis 进行搜索 204
86 基于RAG 的端到端聊天实现 206
87 使用Azure OpenAI 处理数据 209
88 使用RAG 集成数据的优势 211
89 小结 212
第9 章 通过适配与微调定制模型 213
91 什么是模型适配 214
911 模型适配的基础 214
912 企业应用模型适配的优势和
挑战 215
92 何时对LLM进行微调 216
921 微调LLM 的关键阶段 218
93 微调OpenAI 模型 219
931 准备微调数据集 219
932 LLM评估 223
933 微调 225
934 微调训练指标 229
935 使用Azure OpenAI 进行微调 232
94 部署微调模型 234
941 推理 235
95 训练LLM 236
951 预训练 237
952 监督微调 237
953 奖励建模 238
954 强化学习 238
955 直接策略优化 238
96 模型适配技术 238
961 LoRA 240
97 RLHF 概述 242
971 RLHF 面临的挑战 244
972 扩大RLHF 应用规模 245
98 小结 246
第三部分 部署与伦理考量
第 10 章 生成式AI 应用架构设计 248
101 生成式AI 应用架构 248
1011 软件20 249
1012 Copilot 时代 250
102 生成式AI 应用技术栈 250
1021 集成生成式AI 技术栈 252
1022 生成式AI 架构原则 253
1023 生成式AI 应用架构详述 254
103 编排层 256
1031 编排框架的优势 257
1032 编排框架 258
1033 运营管理 259
1034 提示词管理 268
104 基础层 269
1041 数据的集成和预处理 269
1042 嵌入与向量管理 271
105 模型层 272
1051 模型集成架构 273
1052 模型服务 277
106 响应过滤层 277
107 小结 278
第 11 章 规模化：生产部署的最佳
实践 279
111 生产部署面临的挑战 280
112 部署选项 282
113 通过API 托管的LLM 282
114 生产部署的最佳实践 283
1141 LLM推理指标 283
1142 延迟 284
1143 可扩展性 287
1144 PAYGO 290
1145 配额和速率限制 290
1146 配额管理 291
1147 可观测性 293
1148 安全性与合规性考量 301
115 生成式AI 的运营考量 301
1151 可靠性与性能考量 301
1152 托管身份 302
1153 缓存 303
116 LLMOps 与MLOps 307
117 生产部署清单 309
118 小结 310
第 12 章 评估与基准测试 311
121 LLM 评估 312
122 传统评估指标 312
1221 BLEU 313
1222 ROUGE 313
1223 BERTScore 314
1224 传统评估指标的示例 314
123 LLM 特定任务基准测试 317
1231 G-Eval：一种用于NLG 评估
的测量方法 318
1232 基于LLM的评估指标示例 320
1233 HELM 324
1234 HEIM 325
1235 HellaSWAG 326
1236 MMLU 326
1237 使用Azure AI Studio 进行
评估 327
1238 DeepEval：一个LLM 评估
框架 328
124 新的评估基准 329
1241 SWE-bench 329
1242 MMMU 330
1243 MoCa 331
1244 HaluEval 331
125 人工评估 332
126 小结 333
第 13 章 生成式AI 伦理指南：原则、
实践和陷阱 334
131 生成式AI 的风险 335
1311 LLM 的局限性 335
1312 幻觉 336
132 生成式AI 攻击 337
1321 提示词注入 337
1322 不安全输出处理 343
1323 模型拒绝服务 343
1324 数据投毒与后门 344
1325 敏感信息泄露 344
1326 过度依赖 345
1327 模型盗窃 346
133 RAI 生命周期 347
1331 识别危害 348
1332 测量与评估危害 349
1333 缓解危害 350
1334 透明度与可解释性 351
134 红队测试 352
1341 红队测试示例 353
1342 红队测试工具和技术 354
135 内容安全 356
1351 Azure AI Content Safety 357
1352 Perspective API 362
1353 内容过滤器评估 365
136 小结 366
附录A 本书的GitHub 仓库 367
附录B RAI 工具 368
参考文献 372