生成式AI开发揭秘：大模型详解

《生成式AI开发揭秘：大模型详解》是一本介绍生成式AI开发技术的全景图书，从生成式AI基本概念开始带领读者逐步走上AI开发之路，一步一步揭开生成式AI开发的神秘面纱。阅读本书并不需要专业的人工智能技术背景，只要对机器学习有最基本的理解，并且有一定的编程经验即可读懂书中大部分内容。


《生成式AI开发揭秘：大模型详解》详细介绍了基于大模型的生成式AI应用与开发技术，涵盖了自然语言处理、语音识别以及计算机视觉与图像生成等不同领域。在比对生成式AI与判别式AI的基础之上，本书详细讲解了大模型的基础知识及相关应用技巧。转换器架构是当代生成式AI与大模型的重要技术基础，本书从文本向量化入手深入剖析了其中的各项核心技术。转换器架构不仅在自然语言处理领域占据统治地位，在音频、图像等多模态数据上也展现了巨大的潜力。本书分三章介绍了大模型在这些领域能够处理的各种任务，并通过大量示例讲解了大模型处理相关任务时的代码实现。这些示例主要基于Hugging Face的transfomers、diffusers等开源库，并讲解了模型加载、数据预处理以及流水线等机制。除了直接使用大模型处理数据以外，本书还介绍了RAG、PAL、ReAct等模型增强技术。它们是扩展大模型应用领域的重要技术基础，也是生成式AI与各行各业相结合的重要途径。这部分的示例主要基于LangChain框架，并讲解了LangChain中链、代理以及图等机制。
为了帮助读者更深入理解大模型原理，《生成式AI开发揭秘：大模型详解》最后三章还深入探讨了大模型部署、评估以及预训练与微调等技术。大模型在推理与预训练阶段对算力及存储的需求，可依据参数规模、数据处理量等因素进行大致估算。本书不仅对上述估算方法进行了详细介绍，还讲解了模型性能与模型规模之间的幂律关系。这也是人们不断提升大模型规模及预训练数据量，并加大算力基础设施投入的理论基础。大模型评价指标与基准测试是评估模型性能的关键，它们在大模型研发成本不断攀升的今天越来越重要。本书在介绍常用评价指标与基准测试的基础上，还介绍了lm-evaluation-harness和HELM等基准测试框架。这些框架大都对外公布了主流大模型性能排行榜，通过这些排行榜可大致了解目前大模型的发展水平。本书最后还详细讲解了大模型的预训练与微调技术，预训练方面着重介绍了大模型的分布式训练技术，而微调则主要讲解了几种参数高效微调方法。除了预训练与微调技术以外，本书还讲解了大模型对齐人类偏好的一些技术和算法，这些都是在生成式AI开发流程中的重要环节。
《生成式AI开发揭秘：大模型详解》采用了通俗易懂的语言来描述技术与算法，力争让读者在没有相关知识的情况下就能理解。阅读本书并不要求具备高深的算法知识，只要对机器学习有一定的理解并具有基本的编程知识即可。总的来说，本书全面而系统地介绍了生成式AI与大模型研发技术，是了解和进入这一领域不可多得的技术参考书籍。

《生成式AI开发揭秘：大模型详解》采用了通俗易懂的语言来详细讲解了基于大模型的生成式AI开发技术，涵盖自然语言处理、语音识别及计算机视觉与图像生成等不同领域。
?在比对生成式AI与判别式AI的基础之上，讲解了大模型的基础知识及相关应用技巧，从文本向量化入手深入剖析了转换器（transformer）架构的各项核心技术，通过丰富的示例阐述了大模型处理相关任务时的代码实现、模型加载、数据预处理和流水线等机制。
?深入探讨了在大模型部署过程中对算力及存储需求的估算方法，揭示了模型性能与模型规模之间的幂律关系。
?详细介绍了大模型的分布式预训练技术与高效的参数微调方法，还针对大模型对齐人类偏好的一些技术和算法进行了专门讲解。
?为了降低加载和运行大模型的门槛，本书大部分示例会选用经过优化后的压缩模型，可直接在普通电脑上运转起来，以降低读者学习过程中的实验成本。

不论对于机器学习领域的研究者，还是生成式AI的开发者，本书都是良好的参考读物和入门教程。

《生成式AI开发揭秘：大模型详解》是一本介绍生成式AI开发技术的全景图书，从生成式AI基本概念开始带领读者逐步走上AI开发之路，一步一步揭开生成式AI开发的神秘面纱。阅读本书并不需要专业的人工智能技术背景，只要对机器学习有最基本的理解，并且有一定的编程经验即可读懂书中大部分内容。

田雪松，AI算法工程师

第1章 走进生成式AI
1.1 生成式AI概述
1.1.1 机器学习概览
1.1.2 梯度下降与反向传播
1.1.3 生成式与判别式
1.1.4 小模型与大模型
1.2 解锁大模型
1.2.1 从大数据到大模型
1.2.2 涌现能力
1.2.3 提示工程
1.3 拥抱生成式AI
1.3.1 获取智能
1.3.2 应用智能
1.3.3 知识截止与幻觉
1.4 本章小结
第2章 开发生成式AI
2.1 搭建生成式AI项目
2.1.1 安装Python
2.1.2 安装VSCode
2.1.3 配置虚拟环境
2.1.4 执行代码27
2.2 Python机器学习编程
2.2.1 从类型到张量
2.2.2 从控制语句到数据处理
2.2.3 从函数到可调用对象
2.2.4 模块与包
2.3 生成式AI项目生命周期
2.3.1 范围与模型
2.3.2 适配与对齐
2.3.3 优化与增强
2.3.4 周期迭代
2.4 本章小结
第3章 转换器架构
3.1 文本向量化
3.1.1 分词
3.1.2 分词器
3.1.3 独热向量与嵌入向量
3.2 词嵌入算法简介
3.2.1 嵌入矩阵
3.2.2 Word2Vec
3.2.3 GloVe
3.2.3 t-SNE
3.3 多头自注意力机制
3.3.1 自注意力与多头
3.3.2 算法实现*
3.4 白话转换器模型
3.4.1 编码器与解码器
3.4.2 再论多头自注意力
3.4.3 转换器模型种类
3.4.4 模型进化树
3.5 本章小结
第4章 自然语言处理
4.1 自然语言理解任务
4.1.1 文本分类
4.1.2 词元分类
4.1.3 问答
4.2 自然语言生成任务
4.2.1 翻译
4.2.2 摘要
4.2.3 文本生成
4.2.4 填充掩码
4.3 解构流水线
4.3.1 流水线
4.3.2 分词器
4.3.3 模型
4.4 本章小结
第5章 音频处理
5.1 音频分类与语音识别
5.1.1 音频分类
5.1.2 基于Wav2Vec识别语音
5.1.3 基于Whisper识别语音
5.1.4 文本到语音
5.2 音频数字化特征*
5.2.1 从声音到音频
5.2.2 波形数据
5.2.3 时频谱数据
5.2.4 梅尔时频谱
5.3 特征提取与音频流水线
5.3.1 特征提取器
5.3.2 音频模型
5.3.3 多模态处理器及流水线拆解
5.4 本章小结
第6章 计算机视觉与图像生成
6.1 计算机视觉任务
6.1.1 图像分类
6.1.2 对象检测
6.1.3 图像分割
6.1.4 深度估计
6.2 图像生成与扩散模型
6.2.1 基于扩散模型生成图像
6.2.2 去噪扩散模型
6.2.3 自编码器模型
6.2.4 U-Net噪声估算
6.3 潜在扩散模型
6.3.1 变分自编码器
6.3.2 潜空间与交叉注意力
6.3.3 生成式对抗网络
6.5 本章小结
第7章 大模型增强与集成
7.1 检索增强生成
7.1.1 从关键字检索到向量检索
7.1.2 实现DPR
7.1.3 向量存储
7.1.3 增强生成
7.2 逻辑推理引擎
7.2.1 思维链提示
7.2.2 程序辅助语言模型
7.3.3 推理动作模型
7.3 使用LangChain实现RAG
7.3.1 链与Runnable接口
7.3.2 文档加载与向量存储
7.3.3 构建RAG链151
7.4 代理与LangGraph
7.4.1 工具定义
7.4.2 工具绑定与调用
7.4.3 使用LangChain代理
7.4.4 使用LangGraph图
7.5 本章小结
第8章 大模型部署与优化
8.1 重新认识GPU
8.1.1 从GPU到GPGPU
8.1.2 算力指标FLOPS
8.1.3 显卡指标
8.1.3 算力集群概览
8.2 需求估算与扩展法则
8.2.1 推理算力估算
8.2.2 训练算力估算
8.2.3 显存估算
8.2.4 扩展定律与Chinchilla法则
8.3 大模型优化技术
8.3.1 知识蒸馏
8.3.2 参数剪枝
8.3.3 量化
8.4 本章小结
第9章 大模型评估与测试
9.1 机器学习评价指标
9.1.1 Precision和Recall
9.1.2 F1和MCC
9.1.3 MSE和MAE
9.1.4 Pearson和Spearman
9.1.5 BLEU和ROUGE
9.2 大模型基准测试
9.2.1 测试任务与数据集
9.2.2 GLUE概览
9.2.3 GLUE测试任务
9.2.4 SuperGLUE概览
9.2.5 MMLU与GAIA
9.3 大模型测试框架
9.3.1 lm-evaluation-harness
9.3.2 HELM
9.4 本章小结
第10章 大模型预训练与微调
10.1 基于transformers库训练模型
10.1.1 数据预处理
10.1.2 设置超参数
10.1.3 训练模型
10.2 大模型分布式训练
10.2.1 数据并行
10.2.2 模型并行
10.3 大模型微调
10.3.1 低秩自适应微调
10.3.2 软提示微调
10.3.3 使用PEFT库
10.4 大模型的人类对齐
10.4.1 强化学习简介
10.4.2 奖励模型
10.4.3 近端策略优化
10.4.4 DPO和GRPO
10.5 本章小节