大模型算法基础：TRANSFORMERS原理与应用

在人工智能迅猛发展的背景下，Transformer作为大模型的核心架构，已成为推动智能技术变革的重要引擎。本书梳理了Transformer的技术脉络与典型应用，旨在帮助读者全面理解这一划时代的信息机器。

全书共6章，系统阐述Transformer模型的核心机制与演进路径。第1章介绍自注意力机制等基础构件；第2~4章分别探讨Transformer在自然语言处理、计算机视觉和多模态学习中的应用，涵盖BERT、ViT、CLIP等代表性模型；第5章聚焦自动驾驶场景，展示Transformer在感知、预测与规划等模块中的统一建模潜力；第6章则讨论基于Transformer的AI智能体构建，展望其在通用智能系统中的未来发展方向。

本书适合人工智能、计算机科学、认知科学等相关领域的高校师生、研究人员、开发工程师及行业从业者阅读，也为关注AI技术发展的管理者与决策者提供了清晰的技术脉络与应用图景。

第1章Transformer的基本原理

1.1Transformer编码器结构

1.1.1自注意力层

1.1.2前馈层

1.1.3位置编码

1.1.4层归一化

1.1.5残差连接

1.2Transformer解码器结构

1.2.1互注意力层

1.2.2序列掩码

1.3Transformer特点分析

1.3.1Transformer与CNN、RNN的区别和联系

1.3.2Transformer的优劣势分析

小结

参考文献

第2章语言Transformer

2.1自然语言处理

2.1.1自然语言理解

2.1.2自然语言生成

2.1.3自回归与自编码模型

2.1.4Word2Vec模型

2.1.5基于RNN的Seq2Seq方法

2.1.6基于注意力的Seq2Seq方法

2.2基于Transformer的自然语言处理模型

2.2.1BERT模型

2.2.2GPT模型

2.2.3XLNet模型

2.2.4BART模型

2.2.5T-5模型

2.2.6MoE模型

2.2.7Switch Transformer模型

2.3预训练语言模型

2.3.1预训练方式

2.3.2预训练任务

2.4微调与迁移

2.4.1微调方法

2.4.2Prompt方法

2.5大语言模型

2.5.1大模型训练策略

2.5.2大模型训练平台

2.5.3大语言模型微调策略

小结

参考文献

第3章视觉Transformer

3.1ViT模型

3.1.1基本结构

3.1.2图像序列化

3.1.3类别token

3.1.4位置编码

3.1.5编码器结构

3.2视觉Transformer的一般框架及变体

3.2.1视觉Transformer的一般框架

3.2.2计算代价

3.2.3表达能力

3.2.4结构设计

3.3基于Transformer的目标检测模型

3.3.1DETR方法

3.3.2YOLOS方法

3.3.3Pix2Seq方法

3.3.4研究总结

3.4基于Transformer的图像分割模型

3.4.1SETR方法

3.4.2SegFormer方法

3.4.3Segmenter方法

3.4.4MaskFormer方法

3.4.5QueryInst方法

3.4.6ISTR方法

3.4.7Panoptic SegFormer方法

3.4.8研究总结

3.5基于Transformer的预训练视觉模型

3.5.1iGPT方法

3.5.2BEIT方法

3.5.3MAE方法

3.5.4SAM模型

小结

参考文献

第4章多模态Transformer

4.1多模态数据类型及序列化方法

4.1.1视觉数据序列化

4.1.2语言数据序列化

4.1.3点云数据序列化

4.2多模态数据融合

4.2.1对齐与非对齐式融合

4.2.2不同时期的融合

4.2.3对称与非对称式融合方法

4.3多模态预训练

4.3.1多模态掩码预测

4.3.2跨模态关联任务

4.3.3跨模态生成

4.3.4多模态顺序预测

4.4多模态预训练模型

4.4.1ViLBERT模型

4.4.2CLIP模型

4.4.3Flamingo模型

4.4.4DALL-E 2模型

4.4.5BLIP模型

4.4.6BLIP-2模型

4.4.7InstructBLIP模型

4.4.8MiniGPT-4模型

4.4.9Meta-Transformer模型

4.4.10LLaVA模型

小结

参考文献

第5章Transformer在自动驾驶中的应用

5.1基于Transformer的自动驾驶感知

5.1.1基于Transformer的多模态融合感知

5.1.2基于Transformer的BEV感知

5.1.3基于Transformer的占用网格预测

5.2基于Transformer的自动驾驶轨迹预测

5.2.1mmTransformer模型

5.2.2AgentFormer模型

5.2.3WayFormer模型

5.3基于Transformer的自动驾驶行为与轨迹规划

5.3.1HMIL模型

5.3.2PlanT模型

5.3.3VTT模型

5.4基于Transformer的端到端自动驾驶

5.4.1UniAD模型

5.4.2FusionAD模型

5.4.3VistaGPT模型

小结

参考文献

第6章基于Transformer的AI智能体

6.1AI智能体组成与结构

6.1.1AI智能体配置模块：角色塑造

6.1.2AI智能体记忆模块：知识接入

6.1.3AI智能体工具模块：功能拓展

6.1.4AI智能体感知模块：信息分析

6.1.5AI智能体规划模块：决策生成

6.1.6AI智能体行动模块：动作产生

6.2典型的AI智能体系统

6.2.1LangChain

6.2.2HuggingGPT

6.2.3CHATDEV

6.2.4RoboGen

6.2.5Stanford AI Town

小结

参考文献