AI大模型系统开发技术

本书系统介绍行业AI大模型系统开发技术。全书共10章，主要内容包括AI大模型概述、AI基础算法、深度学习技术与工具、生成式模型、数据标注技术、注意力机制、Transformer架构解析、自然语言处理中的预训练模型、微调技术以及大语言模型系统安全技术。本书内容逻辑清晰、循序渐进，从理论到实践，从算法到工程实现，引导读者深入理解和逐步掌握行业AI大模型开发关键技术和方法。
本书适合作为高等学校理工科研究生、计算机相关专业高年级本科生相关专业课教材，也可供行业AI大模型系统开发人员参考。

第1章 AI大模型概述
1.1 AI大模型的定义
1.2 AI大模型发展概况
1.2.1 语言模型演进
1.2.2 AI大模型家族
1.2.3 外AI大模型研究现状
1.3 AI大模型基础设施
1.3.1 计算资源
1.3.2 存储系统
1.3.3 网络带宽
1.3.4 AI算法和优化技术
第2章 AI基础算法
2.1 AI基础算法概述
2.1.1 基于集合论的算法
2.1.2 基于概率统计的算法
2.1.3 基于图论的算法
2.1.4 基于空间几何的算法
2.1.5 基于演化计算的算法
2.1.6 基于人工神经网络的算法
2.2 专家系统
2.2.1 专家系统的一般结构
2.2.2 专家系统的构建
2.2.3 专家系统的发展
2.3 机器学习
2.4 拟人机器学习
2.4.1 拟人机器学习的概念
2.4.2 拟人系统的瓶颈问题
2.5 人工情感计算
2.5.1 文本情感计算
2.5.2 语音情感计算
2.5.3 视觉情感计算
第3章 深度学习技术与工具
3.1 词向量模型
3.1.1 滑动窗口
3.1.2 Word2Vec模型
3.1.3 Word2Vec训练流程
3.2 卷积神经网络
3.2.1 卷积神经网络结构
3.2.2 卷积神经网络的特点
3.2.3 卷积神经网络在自然语言处理领域中的应用
3.3 循环神经网络
3.3.1 典型的循环神经网络单向传播
3.3.2 双向循环神经网络
3.3.3 深度循环神经网络
3.3.4 循环神经网络的主要应用领域
第4章 生成式模型
4.1 混合高斯模型
4.2 隐马尔可夫模型
4.2.1 隐马尔可夫模型的定义
4.2.2 隐马尔可夫模型的表示
4.2.3 隐马尔可夫模型的使用
4.2.4 维特比算法
4.3 受限玻尔兹曼机
4.3.1 受限玻尔兹曼机模型结构
4.3.2 配分函数
4.4 深度置信网络
4.4.1 深度置信网络模型结构
4.4.2 深度置信网络的目标函数
4.4.3 深度置信网络的训练
4.5 Seq2Seq生成模型
4.5.1 语义向量只作为初始状态参与运算
4.5.2 语义向量参与解码的全过程
4.5.3 循环神经网络输出层使用激活函数
第5章
4.5.4 Seq2Seq模型的训练过程
4.5.5 变分自编码器
4.5.5.1 变分下界的求法
4.5.5.2 重参数化
4.6 生成对抗网络
4.6.1 生成对抗网络的基本原理
4.6.2 深度卷积生成对抗网络
4.6.3 基于残差网络的结构
4.7 数据标注技术
4.7.1 数据标注的定义与分类
4.7.2 数据标注的任务
4.7.3 数据标注的流程及工具
4.7.4 数据标注的应用场景
5.1 数据标注实例——情感分析
5.1.1 情感分析中的数据标注
5.1.2 标注工具
5.1.3 标注流程
5.2 注意力机制
5.2.1 引入注意力的编码器-解码器框架
5.2.2 自注意力机制的基本原理
5.2.3 自注意力操作过程
5.2.4 单输入多头注意力
5.2.5 多输入多头注意力
5.2.6 位置编码
5.2.7 残差连接方法
5.2.8 类别注意力机制
5.2.9 空间注意力机制
5.2.10 通道注意力机制
5.2.11 空间和通道注意力机制的融合
第6章 Transformer架构解析
6.1 Transformer的原始框架
6.2 输入输出嵌入层
6.2.1 BPE算法
6.2.2 位置编码
6.3 编码部分
6.3.1 掩码张量
6.3.2 Transformer的自注意力模块
6.3.3 Transformer的多头注意力机制
6.3.4 前馈连接层
6.3.5 规范化层
6.3.6 残差连接
6.4 解码部分
6.4.1 解码器的作用
6.4.2 解码器多头注意力机制
6.5 输出处理层
第7章 自然语言处理中的预训练模型
7.1 预训练模型概述
7.1.1 预训练模型的结构
7.1.2 预训练模型压缩技术
7.1.3 预训练任务
7.1.4 多模态预训练模型
7.2 预训练模型适应下游任务
7.2.1 迁移学习
7.2.2 模型迁移方法
7.3 预训练模型在自然语言处理任务中的应用
7.3.1 一般评价基准
7.3.2 问答
7.3.3 情感分析
7.3.4 命名实体识别
7.3.5 机器翻译
7.3.6 摘要
7.3.7 对抗检测和防御
7.4 预训练语言模型GPT
7.5 预训练语言模型BERT
7.5.1 BERT模型结构
7.5.2 嵌入操作层
7.5.3 编码层
7.5.4 预测层
7.6 大模型部署
7.6.1 大模型部署框架
7.6.2 大模型部署步骤
7.6.3 大模型部署方式
第8章 微调技术
8.1 微调概述
8.2 微调神经网络的方法
8.3 自适应微调
8.4 提示学习
8.4.1 提示学习微调模型的基本组成
8.4.2 提示学习微调流程
8.5 增量微调模型
8.6 基于提示的微调
第9章 大语言模型系统安全技术
9.1 大语言模型面临的安全挑战
9.1.1 大语言模型应用面临的威胁
9.1.2 对抗攻击的类