大语言模型：基础与前沿

内容丰富。本书全面且深入介绍了大语言模型及其前沿进展，适合所有需要了解这个领域或掌握这种方法与工具的科学家、工程师和学生参考。
内容紧贴前沿领域。大语言模型作为当前爆火的chatGPT背后的技术，受到广泛关注，预计未来将推动人工智能技术进一步发展。
深入浅出，理论与实践相结合。本书摒弃了纯理论的说教模式，从案例入手，采用庖丁解牛的方式帮助读者理解与认识大语言模型。
作者权威，大厂海外技术骨干。本书作者熊涛曾担任多家中美高科技公司的首席科学家，长期深耕人工智能领域，发表相关论文百余篇。
行业专家背书，包括清华大学教授陈文光、复旦大学浩清特聘教授漆远、阿里巴巴集团阿里云副总裁叶杰平、蚂蚁集团副总裁赵闻飙。

本书深入阐述了大语言模型的基本概念和算法、研究前沿以及应用，涵盖大语言模型的广泛主题，从基础到前沿，从方法到应用，涉及从方法论到应用场景方方面面的内容。首先，本书介绍了人工智能领域的进展和趋势；其次，探讨了语言模型的基本概念和架构、Transformer、预训练目标和解码策略、上下文学习和轻量级微调、稀疏专家模型、检索增强型语言模型、对齐语言模型与人类偏好、减少偏见和有害性以及视觉语言模型等内容；最后，讨论了语言模型对环境的影响。
本书内容全面、系统性强，适合高年级本科生和研究生、博士后研究人员、讲师以及行业从业者阅读与参考。

熊涛，美国明尼苏达大学双城分校电子与计算机工程博士。曾在多家中美知名高科技公司担任高级管理职位和首席科学家，在人工智能的多个领域，包括大语言模型、图神经网络等从事研发和管理工作多年。

第 1章 大语言模型：辩论、争议与未来发展方向 1
1.1 新时代的曙光 1
1.2 LLM有意识吗 3
1.2.1 理解LLM的层次结构 3
1.2.2 意识是否需要碳基生物学 4
1.2.3 具身化与落地 4
1.2.4 世界模型 7
1.2.5 沟通意图 8
1.2.6 系统性和全面泛化 9
1.3 未来发展方向 10
1.4 小结 13
第 2章 语言模型和分词 15
2.1 语言建模的挑战 16
2.2 统计语言建模 16
2.3 神经语言模型 18
2.4 评估语言模型 19
2.5 分词 19
2.5.1 按空格分割 20
2.5.2 字符分词 21
2.5.3 子词分词 21
2.5.4 无分词器 24
2.5.5 可学习的分词 25
2.6 小结 27
第3章 Transformer 29
3.1 Transformer编码器模块 29
3.2 编码器-解码器架构 31
3.3 位置嵌入 32
3.3.1 绝对位置编码 32
3.3.2 相对位置编码 34
3.4 更长的上下文 38
3.5 外部记忆 42
3.6 更快、更小的Transformer 45
3.6.1 高效注意力 45
3.6.2 条件计算 47
3.6.3 搜索高效Transformer 48
3.6.4 在单个GPU上一天内训练一个语言模型 49
3.7 推理优化 49
3.7.1 推测解码 49
3.7.2 简化Transformer 51
3.7.3 修剪 52
3.7.4 蒸馏 53
3.7.5 混合精度 54
3.7.6 高效扩展Transformer推理 54
3.8 小结 56
第4章 预训练目标和解码策略 57
4.1 模型架构 57
4.2 预训练目标 60
4.3 具有代表性的语言模型 62
4.4 解码策略 67
4.5 小结 72
第5章 上下文学习和轻量级微调 73
5.1 上下文学习 74
5.1.1 示范样本选择 75
5.1.2 样本排序 82
5.1.3 指令生成 82
5.1.4 思维链 84
5.1.5 递归提示 87
5.1.6 为什么ICL有效 90
5.1.7 评估 93
5.2 提示语言模型的校准 94
5.3 轻量级微调 97
5.3.1 基于添加的方法 98
5.3.2 基于规范的方法 100
5.3.3 基于重新参数化的方法 101
5.3.4 混合方法 103
5.4 小结 104
第6章 训练更大的模型 107
6.1 扩大尺度法则 107
6.1.1 预训练Transformer扩大尺度的启示 107
6.1.2 预训练和微调Transformer带来的新启示 110
6.1.3 k比特推理扩大尺度法则 111
6.1.4 挑战与机遇 112
6.2 涌现能力 113
6.3 人工智能加速器 115
6.4 并行 117
6.4.1 数据并行 119
6.4.2 流水线并行 126
6.4.3 张量/模型并行 131
6.4.4 专家混合 133
6.5 混合训练和低精度训练 133
6.5.1 单位缩放 133
6.5.2 FP8与INT8 135
6.6 其他节省内存的设计 136
6.7 小结 137
第7章 稀疏专家模型 139
7.1 为什么采用稀疏专家模型 139
7.2 路由算法 142
7.2.1 每个词元选择top-k个专家 142
7.2.2 每个专家选择top-k个词元 144
7.2.3 全局很优分配 145
7.2.4 随机路由 148
7.2.5 双层路由 149
7.2.6 针对不同预训练领域的不同专家 149
7.3 其他改进措施 152
7.3.1 加快训练速度 152
7.3.2 高效的MoE架构 153
7.3.3 生产规模部署 154
7.3.4 通过稀疏MoE扩展视觉语言模型 154
7.3.5 MoE与集成 155
7.4 小结 156
第8章 检索增强型语言模型 157
8.1 预训练检索增强型语言模型 158
8.2 词元级检索 161
8.3 通过高效和精简检索进行问答和多跳推理 163
8.4 检索增强型Transformer 166
8.5 检索增强型黑盒语言模型 168
8.6 视觉增强语言建模 169
8.7 小结 170
第9章 对齐语言模型与人类偏好 171
9.1 基于人类反馈进行微调 172
9.1.1 基于人类反馈的强化学习 172
9.1.2 KL散度：前向与反向 174
9.1.3 REINFORCE、TRPO和PPO 174
9.1.4 带有KL惩罚的强化学习：贝叶斯推理观点 178
9.1.5 通过分布控制生成进行语言模型对齐 180
9.1.6 通过f散度最小化统一RLHF和GDC方法 182
9.2 基于语言反馈进行微调 183
9.3 基于监督学习进行微调 184
9.4 基于人工智能反馈的强化学习 185
9.5 基于自我反馈进行迭代优化 188
9.6 基于人类偏好进行预训练 190
9.7 小结 193
第 10章 减少偏见和有害性 195
10.1 偏见 196
10.2 有害性 199
10.3 偏见和有害性的检测与减少 200
10.3.1 基于解码的策略 201
10.3.2 基于提示的脱毒 202
10.3.3 基于数据的策略 204
10.3.4 基于投影和正则化的方法 205
10.3.5 基于风格转换的方法 205
10.3.6 基于强化学习的微调和基于人类偏好的预训练 206
10.4 小结 206
第 11章 视觉语言模型 207
11.1 语言处理的多模态落地 207
11.2 不需要额外训练即可利用预训练模型 208
11.2.1 视觉引导解码策略 208
11.2.2 作为大语言模型提示的视觉输入 209
11.2.3 基于相似性搜索的多模态对齐 212
11.3 轻量级适配 213
11.3.1 锁定图像调优 213
11.3.2 作为（冻结）语言模型前缀的学习视觉嵌入 214
11.3.3 视觉-文本交叉注意力融合 216
11.4 图文联合训练 219
11.5 检索增强视觉语言模型 222
11.6 视觉指令调整 225
11.7 小结 227
第 12章 环境影响 229
12.1 能源消耗和温室气体排放 229
12.2 估算训练模型的排放量 230
12.3 小结 231
参考文献 232

尽管市面上关于大语言模型的文章和图书已有很多，但大多流于碎片化或应用技术介绍，很少能系统性地阐释大语言模型的基础原理。这本书很好地补充了这方面的内容。同时这本书还介绍了MoE、多模态模型等前沿技术，实为相关从业者的学习佳作。
——陈文光，清华大学教授，蚂蚁技术研究院院长

作为近期人工智能领域的关键进展之一，大语言模型引起了行业和社会的广泛关注。这本书系统地讲述了大语言模型的训练目标、模型架构、使用方法、并行训练，以及检索增强、稀疏模型设计、基于人的反馈的微调、视觉语言模型等高级话题。对于想要了解或掌握大语言模型的科研人员来说，这本书极具学习和参考价值。
——漆远，复旦大学浩清特聘教授，复旦大学人工智能创新与产业研究院院长

作为一部阐述大语言模型及其进展的著作，这本书既有广度又有深度，旨在为科学家、工程师以及对大语言模型感兴趣的高校学生提供一份全面且深入的学习和参考资料。鉴于大语言模型所引领的革新浪潮正以靠前的力度进入众多学科和行业，并展现出对未来长远影响的潜力，每一个渴求掌握优选技术动态并应用于实践的读者，均应当密切关注这一领域的进展，并积极探寻将大语言模型的前沿应用转化为实际价值的可能性。
——叶杰平，阿里巴巴集团阿里云副总裁

在数字化时代，这本书显得尤为重要。作者凭借深厚的学术背景和丰富的实践经验，深入探讨了大语言模型的理论基础、技术细节、研究成果，以及未来可能的发展方向。这本书不仅系统地介绍了大语言模型的基本概念和关键技术，而且深入分析了大语言模型在自然语言处理、机器翻译、内容生成等多个应用场景中的实际效果和潜在挑战。
对于希望深入了解人工智能和机器学习领域的人士而言，这本书是一份的参考资料。它不仅适合作为学术研究和专业开发的指南，也适合任何对未来科技发展充满好奇心的读者阅读。无论是这一领域的新手还是资深专家，你都将从中获益。
——赵闻飙，蚂蚁集团副总裁、大安全事业群总裁