百面大模型

面试题库：二星到五星难度体系，约100道大模型高频真题按考点分类，附面试题目录，助你高效查漏补缺
内容全面：涵盖MoE、预训练、后训练、SFT、PEFT、RLHF、PPO、GRPO、DPO、FlashAttention、RAG、智能体以及DeepSeek MLA等
作者靠谱：5万+粉丝AI大V“包包大人”领衔，联合美团大模型技术专家与北航实力派新生代，强强联手打造
大佬推荐：ACL Fellow刘群、ACL Fellow周明、《深度强化学习》作者王树森和黎彧君、知乎大模型频道技术博主猛猿、LLaMA Factory作者郑耀威、OpenRLHF和REINFORCE++作者初七、字节跳动火山引擎机器学习平台研发负责人方佳瑞等8位行业大佬力荐

本书收录了约百道大模型工程师常见的面试题目和解答，系统、全面地介绍了与大模型相关的技术，涵盖语义表达、数据预处理、预训练、对齐、垂类微调、组件、评估、架构、检索增强生成(RAG)、智能体、PEFT(参数高效微调)，以及训练与推理等内容。书中通过丰富的实例、图表及代码讲解，将复杂概念阐释得通俗易懂，是大模型领域的一本不可多得的实用指南。

本书适合对大模型和Transformer等技术感兴趣的学生、研究者和工程师阅读和参考。

包梦蛟，北京航空航天大学硕士，美团北斗计划高级算法专家，负责大众点评大模型应用落地开发，曾获得Kaggle Grandmaster称号、KDD CUP 2024冠军，业余时间撰写知乎专栏和公众号“包包算法笔记”，全网关注数5万+。

刘如日，北京航空航天大学硕士，研究兴趣为机器学习与自然语言处理。曾以第一作者身份发表顶会论文并多次在顶会竞赛中取得冠军等优异成绩。现于美团从事大模型相关技术研究与产业应用。

朱俊达，北京航空航天大学硕士，研究兴趣为大模型架构优化方向，有多家大厂实习经历，发表了多篇大模型相关论文。

第1章 语义表达 1

1.1 词向量与语义信息 1

1.1.1 稀疏词向量 2

1.1.2 分布式语义假设 2

1.1.3 稠密词向量 3

1.2 溢出词表词的处理方法 6

1.3 分词方法的区别与影响 11

1.3.1 词（word） 11

1.3.2 子词（subword） 12

1.3.3 字符（char） 16

1.4 词向量与语义相似度 17

1.5 构建句子向量 19

1.6 预训练的位置编码 22

1.7 BERT的不同嵌入类型 25

1.8 大模型语义建模的典型架构 27

第 2章 大模型的数据 31

2.1 大模型训练开源数据集 31

2.2 大模型不同训练环节与数据量 35

2.3 大模型数据预处理 39

2.3.1 数据的质量 39

……