大语言模型全链路解析：从架构设计、训练优化到应用开发

（1）作者背景资深：作者曾就职于腾讯和阿里巴巴，主导腾讯游戏广告算法、零售通推荐系统、增长智能建模等核心项目，CIKM国际顶会论文作者，5项发明专利。
（2）专家力荐背书：来自清华大学和中山大学等高校的知名教授、国家杰出青年、腾讯等企业的科学家等9位专家联合推荐。
（3）全链路系统讲解：从技术原理到架构设计，从模型训练到应用开发，从行业痛点到解决方案，为读者构建大模型全链条知识闭环。
（4）技术前沿领先：涵盖DeepSeek模型揭秘、混合专家架构、多头潜在注意力、RLHF、低秩适应、智能体等最新技术。
（5）理论实践结合：深入阐述数学原理与算法逻辑，配合DeepSeek训练优化、模型测评、推理加速等丰富实战案例。
（6）应用场景全面：覆盖生产力场景与生活娱乐场景，详解提示工程、思维链、RAG及单/多智能体开发方法论。
（7）面向多重读者：适合AI技术从业者、企业决策者、科研学者及技术爱好者系统学习。

内容简介
这是一本系统讲解大语言模型全链路技术的实战指南，以“基础理论—技术实践—产业应用—未来发展”为逻辑主线，覆盖从技术原理、架构设计、训练优化到应用开发和产业落地的完整知识体系。
本书是资深人工智能与算法工程专家在腾讯的大模型实战经验总结，内容分为四篇。
第一篇 初识大语言模型。梳理大语言模型发展历程与核心概念，解析预训练与微调机制，对比传统循环神经网络与Transformer架构差异，结合数学知识为零基础读者构建认知框架。
第二篇 大语言模型全解析。遵循“基础架构—训练方法—技术案例—后训练优化—评测体系—性能提升”的逻辑链条展开，聚焦DeepSeek的技术突破，系统讲解预训练目标设计、后训练优化（SFT/RLHF）、模型评测体系，并深入分析推理性能瓶颈及在硬件加速与算法层面的优化方案。
第三篇 大语言模型应用开发及实践。紧扣真实场景落地需求，详解提示工程、思维链、检索增强生成及智能体开发的全流程方法论与工具链整合策略。
第四篇 大语言模型的未来发展。前瞻性地探讨多模态融合（如视觉-语言指令微调）、具身智能与通用人工智能（AGI）的演进路径，为技术决策者提供战略级行业洞察。
大语言模型正以颠覆性力量重塑人工智能的边界。本书致力于成为连接理论探索与工程实践的坚实桥梁——无论你是希望夯实技术根基的工程师，还是谋划未来布局的战略决策者，都能从中获得启发，在通往通用智能的浪潮中，走出属于自己的创新路径。

袁从德<br /> 人工智能与算法工程专家，拥有10余年头部互联网企业技术研发与团队管理经验。曾任职于腾讯、阿里巴巴，主导腾讯游戏广告算法、零售通推荐系统、增长智能建模等核心项目，在广告出价、排序模型预估、预算优化、大模型应用及数据基础设施等领域取得多项技术突破，相关成果发表于 CIKM 等国际顶会，并获中国及中国香港地区发明专利5项。2025年起投身创业，聚焦大语言模型在跨境电商达人营销与青少年心理健康等垂直场景的全链路落地。<br /> 极客时间《强化学习实战》《大模型应用开发》专栏作者，CIKM 2022–2025 连续三年以第一作者身份发表广告与推荐系统方向论文，并担任2025年全国大学生“区块链+”应用大赛评委。<br />

Contents目　　录<br />前言<br />第一篇　初识大语言模型<br />第1章　走近大语言模型　3<br />1.1　大语言模型的发展历程　3<br />1.2　语言模型的核心概念　5<br />1.2.1　基础概念　5<br />1.2.2　分词　6<br />1.2.3　词向量　7<br />1.2.4　从静态词向量到深度神经<br />网络　8<br />1.3　预训练和微调　9<br />1.3.1　预训练　9<br />1.3.2　预训练阶段的模型　10<br />1.3.3　微调　12<br />1.3.4　提示学习和指示学习　16<br />第2章　探索大语言模型的关键技术　20<br />2.1　大语言模型的基础知识　20<br />2.1.1　机器学习基础知识　20<br />2.1.2　数学基础知识　22<br />2.2　在Transformer之前的常用<br />模型　24<br />2.2.1　循环神经网络　24<br />2.2.2　编码器–解码器架构　26<br />2.3　Transformer　27<br />2.3.1　Transformer架构　27<br />2.3.2　位置编码　29<br />2.3.3　层归一化　32<br />2.3.4　激活函数　34<br />2.4　解码策略　35<br />2.4.1　概率最大化方法　35<br />2.4.2　采样方法　39<br />2.5　嵌入技术　42<br />2.5.1　嵌入技术简介　42<br />2.5.2　嵌入的价值　43<br />2.5.3　主流的嵌入训练方法　45<br />2.5.4　扩展嵌入序列的长度　46<br />2.6　扩展法则和涌现能力　47<br />2.6.1　扩展法则—大语言模型时代的摩尔定律　47<br />2.6.2　涌现能力　50<br />第二篇　大语言模型全解析<br />第3章　大语言模型的架构及训练<br />方法　55<br />3.1　大语言模型的主流架构　55<br />3.1.1　仅解码器架构　55<br />3.1.2　仅解码器架构的优势　57<br />3.2　数据准备　59<br />3.2.1　数据收集　59<br />3.2.2　数据预处理　67<br />3.3　大语言模型训练　69<br />3.3.1　无监督预训练　71<br />3.3.2　后训练　75<br />3.4　增量训练　84<br />3.4.1　增量训练语料的清洗　84<br />3.4.2　增量训练模型的评测　85<br />3.4.3　训练方法　86<br />3.5　常见的训练策略　88<br />3.5.1　数据并行　88<br />3.5.2　模型并行　89<br />3.5.3　流水线并行　90<br />3.5.4　混合并行　90<br />第4章　DeepSeek模型创新揭秘　93<br />4.1　DeepSeek是中国AI领域的<br />“斯普特尼克时刻”　93<br />4.2　DeepSeek系列模型的技术<br />创新　95<br />4.2.1　混合专家模型　95<br />4.2.2　多头潜在注意力机制　99<br />4.2.3　多词元预测　101<br />4.3　基于人类反馈的强化学习　103<br />4.3.1　强化学习的基础知识　104<br />4.3.2　强化学习在大语言模型中的<br />应用　111<br />4.3.3　强化学习在提升模型推理<br />能力中的应用探讨　117<br />第5章　模型编辑　119<br />5.1　模型编辑简介　119<br />5.1.1　模型编辑的思想和定义　120<br />5.1.2　模型编辑的特性　120<br />5.2　模型编辑的经典方法　123<br />5.2.1　外部拓展法　124<br />5.2.2　内部修改法　126<br />5.3　模型编辑的应用　131<br />5.3.1　精准模型更新　131<br />5.3.2　保护被遗忘权　132<br />5.3.3　提升模型安全　132<br />第6章　大语言模型微调　134<br />6.1　微调简介　134<br />6.1.1　微调的原理及进展　134<br />6.1.2　微调流程　138<br />6.2　参数高效微调—参数附加<br />方法　139<br />6.2.1　参数附加方法分类　139<br />6.2.2　引入额外提示—加在<br />输入　140<br />6.2.3　模型参数微调—加在<br />模型　142<br />6.2.4　调整模型输出分布—加在<br />输出　146<br />6.3　参数高效微调—参数选择<br />方法　147<br />6.3.1　基于规则的方法　147<br />6.3.2　基于学习的方法　148<br />6.4　参数高效微调—低秩适应<br />方法　150<br />6.4.1　低秩适应　150<br />6.4.2　低秩适应方法改进　152<br />第7章　大语言模型评测　154<br />7.1　大语言模型评测概述　154<br />7.1.1　评测的必要性　154<br />7.1.2　评测的关键要素　155<br />7.1.3　评测的维度　155<br />7.1.4　评测的方法论　157<br />7.2　评测平台和评测基准　159<br />7.2.1　评测平台　159<br />7.2.2　评测基准　161<br />第8章　推理性能优化　164<br />8.1　问题分析　164<br />8.2　大语言模型推理框架　166<br />8.3　硬件层面的计算加速　168<br />8.3.1　架构设计　168<br />8.3.2　高性能计算框架　170<br />8.3.3　硬件加速　172<br />8.4　算法层面的计算加速　179<br />8.4.1　精简注意力　180<br />8.4.2　计算优化　182<br />8.4.3　I/O优化—FlashAttention<br />技术　184<br />8.4.4　模型压缩　188<br />第三篇　大语言模型应用开发及实践<br />第9章　从应用场景到开发理论<br />框架　199<br />9.1　大语言模型的应用　199<br />9.1.1　生产力场景　199<br />9.1.2　生活娱乐场景　202<br />9.2　大语言模型应用的工作流程　205<br />9.2.1　处理输入　205<br />9.2.2　理解输入　206<br />9.2.3　生成响应　206<br />9.2.4　输出处理　207<br />9.2.5　反馈学习　207<br />9.3　大语言模型应用的开发流程　208<br />9.3.1　大语言模型应用开发和传统<br />AI开发的差异　208<br />9.3.2　大语言模型应用开发要点　210<br />9.4　大语言模型应用开发面临的<br />挑战　212<br />9.4.1　性能的关键问题与解决<br />方案　213<br />9.4.2　大语言模型逻辑推理困境与<br />解决方案　214<br />第10章　提示工程　218<br />10.1　提示工程简介　218<br />10.1.1　什么是提示　218<br />10.1.2　提示的重要性　219<br />10.1.3　提示工程的技术框架　220<br />10.2　上下文学习　221<br />10.2.1　上下文学习简介　221<br />10.2.2　从梯度视角解释上下文<br />学习　222<br />10.3　提示自适应优化　223<br />10.4　设计提示词的准则与模板<br />解析　223<br />10.4.1　提示词关键准则　224<br />10.4.2　万能模板的底层逻辑与<br />构成　226<br />第11章　思维链构建　229<br />11.1　思维链简介　229<br />11.1.1　思维链核心内涵与价值　229<br />11.1.2　思维链的技术实现与<br />优势　231<br />11.2　思维链的应用　232<br />11.3　思维链的变体　233<br />11.3.1　零样本思维链　233<br />11.3.2　自动思维链　234<br />11.3.3　长思维链　234<br />11.3.4　多模态思维链　234<br />11.4　思维链的训练方式　235<br />11.4.1　过程监督奖励模型　235<br />11.4.2　蒙特卡洛树搜索　236<br />11.4.3　监督微调　237<br />11.4.4　基于规则的强化学习　238<br />11.5　思维链提示技术的优势和<br />局限性　239<br />11.5.1　思维链提示技术的优势　239<br />11.5.2　思维链提示技术的<br />局限性　240<br />第12章　检索增强生成　243<br />12.1　检索增强生成简介　243<br />12.1.1　诞生背景　244<br />12.1.2　工作流程　245<br />12.2　问答场景检索增强生成实践　245<br />12.2.1　提问分类　246<br />12.2.2　数据处理　246<br />12.2.3　检索　248<br />12.2.4　数据增强　251<br />12.2.5　生成　252<br />12.3　检索增强生成与有监督微调<br />对比　253<br />12.4　未来趋势　254<br />第13章　智能体开发　255<br />13.1　大语言模型和智能体结合的<br />核心价值与技术瓶颈　255<br />13.1.1　大语言模型和智能体结合<br />的核心价值　256<br />13.1.2　大语言模型和智能体结合<br />的技术瓶颈　258<br />13.2　大语言模型驱动的智能体　260<br />13.2.1　大语言模型驱动的智能体<br />的架构　260<br />13.2.2　关键突破：从以人类为<br />中心到自主进化　262<br />13.3　智能体的技术实现框架　264<br />13.3.1　核心模块解析　264<br />13.3.2　工业实践范例：智能<br />客服　269<br />13.4　智能体多元化落地　271<br />13.4.1　单智能体场景　271<br />13.4.2　多智能体场景　273<br />13.4.3　人机交互场景　274<br />第四篇　大语言模型的未来发展<br />第14章　大语言模型的发展方向　283<br />14.1　开源之争和盈利模式　283<br />14.2　通往AGI的道路　285<br />14.2.1　AGI的核心概念　285<br />14.2.2　当前的演进路径　285<br />14.2.3　未来展望　288<br />14.3　技术思考　291<br />14.3.1　广度模态扩充　291<br />14.3.2　深度智能提升　292<br />14.4　大语言模型的核心问题和<br />前景　294<br />14.4.1　核心问题　294<br />14.4.2　前景　295<br />第15章　多模态融合　297<br />15.1　多模态指令微调　297<br />15.1.1　多模态大语言模型学习<br />范式　298<br />15.1.2　视觉–语言指令微调<br />数据　298<br />15.2　多模态上下文学习　299<br />15.3　多模态思维链　300<br />15.3.1　推理构建视角　300<br />15.3.2　结构化推理视角　301<br />15.3.3　信息增强视角　301<br />15.3.4　目标粒度视角　302<br />15.3.5　多模态思维链视角　302<br />15.3.6　测试扩展视角　303<br />15.4　多模态辅助推理能力　304<br />15.4.1　推理分类　305<br />15.4.2　通过多模态改善推理　306<br />