PYTORCH深度学习指南：序列与自然语言处理 卷III

国外Pytorch深度学习畅销书 全彩印刷
作者拥有20余年从业经验
“PyTorch深度学习指南”丛书循序渐进地详细讲解了与深度学习相关的重要概念、算法和模型，并着重展示了PyTorch是如何实现这些算法和模型的。其共分三卷：编程基础、计算机视觉、序列与自然语言处理。
本书适用于对深度学习感兴趣，并希望使用PyTorch实现深度学习的Python程序员阅读。

以下是部分国外读者书评
Michael：理解GPT的敲门砖!
我对这本书感到惊讶，以我生疏的数学技能，居然可以从头到尾毫无问题地阅读。这三本系列丛书是我能接近理解的第一套深度学习书。作者基本上使用最小数据样本的逐步代码来完成任何机制/数学。
真是我相见恨晚的一套丛书。

Sebastian：这本书写得非常好。对非常高级的概念进行了清晰、全面、易懂的解读。提供的实现细节帮助您快速轻松地进入深度学习领域。

“PyTorch深度学习指南”丛书循序渐进地详细讲解了与深度学习相关的重要概念、算法和模型，并着重展示了PyTorch是如何实现这些算法和模型的。其共分三卷：编程基础、计算机视觉、序列与自然语言处理。
本书为该套丛书的第三卷：序列与自然语言处理。本书主要介绍了循环神经网络（RNN、GRU和LSTM）和一维卷积；Seq2Seq模型、注意力、自注意力、掩码和位置编码；Transformer、层归一化和视觉Transformer（ViT）；BERT、GPT-2、单词嵌入和HuggingFace库等内容。
本书适用于对深度学习感兴趣，并希望使用PyTorch实现深度学习的Python程序员阅读学习。

前  言
致  谢
关于作者
译者序
常见问题
    为什么选择PyTorch？
    为什么选择这套书？
    谁应该读这套书？
    我需要知道什么？
    如何阅读这套书？
    下一步是什么？
设置指南
    官方资料库
    环境
    谷歌Colab
    Binder
    本地安装
    继续
第8章  序列
    剧透
    Jupyter Notebook
    导入
    序列
    数据生成
    循环神经网络（RNN）
    RNN单元
    RNN层
    形状
    堆叠RNN
    双向RNN
    正方形模型
    可视化模型
    我们能做得更好吗？
    门控循环单元（GRU）
    GRU单元
    GRU层
    正方形模型Ⅱ——速成
    模型配置和训练
    可视化模型
    我们能做得更好吗？
    长短期记忆（LSTM）
    LSTM单元
    LSTM层
    正方形模型Ⅲ——巫师
    模型配置和训练
    可视化隐藏状态
    可变长度序列
    填充
    打包
    解包（至填充）
    打包（从填充）
    可变长度数据集
    数据准备
    正方形模型Ⅳ——打包
    模型配置和训练
    一维卷积
    形状
    多特征或通道
    膨胀
    数据准备
    模型配置和训练
    可视化模型
    归纳总结
    固定长度数据集
    可变长度数据集
    选择一个合适的模型
    模型配置和训练
    回顾
第9章（上）：序列到序列
    剧透
    Jupyter Notebook
    导入
    序列到序列
    数据生成
    编码器-解码器架构
    编码器
    解码器
    编码器+解码器
    数据准备
    模型配置和训练
    可视化预测
    我们能做得更好吗？
    注意力
    “值”
    “键”和“查询”
    计算上下文向量
    评分方法
    注意力分数
    缩放点积
    注意力机制
    源掩码
    解码器
    编码器+解码器+注意力机制
    模型配置和训练
    可视化预测
    可视化注意力
    多头注意力
第9章（下）：序列到序列
    剧透
    自注意力
    编码器
    交叉注意力
    解码器
    编码器+解码器+自注意力机制
    模型配置和训练
    可视化预测
    不再有序
    位置编码（PE）
    编码器+解码器+位置编码
    模型配置和训练
    可视化预测
    可视化注意力
    归纳总结
    数据准备
    模型组装
    编码器+解码器+位置编码
    自注意力的“层”
    注意力头
    模型配置和训练
    回顾
第10章  转换和转出
    剧透
    Jupyter Notebook
    导入
    转换和转出
    狭义注意力
    分块
    多头注意力
    堆叠编码器和解码器
    包裹“子层”
    Transformer编码器
    Transformer解码器
    层归一化
    批量与层
    我们的Seq2Seq问题
    投影或嵌入
    Transformer
    数据准备
    模型配置和训练
    可视化预测
    PyTorch的Transformer
    模型配置和训练
    可视化预测
    视觉Transformer
    数据生成和准备
    补丁
    特殊分类器词元
    模型
    模型配置和训练
    归纳总结
    数据准备
    模型组装
    模型配置和训练
    回顾
第11章  Down the Yellow Brick Rabbit Hole
    剧透
    Jupyter Notebook
    附加设置
    导入
    “掉进黄砖兔子洞（Down the Yellow Brick Rabbit Hole）”
    构建数据集
    句子词元化
    HuggingFace的数据集
    加载数据集
    单词词元化
    词汇表
    HuggingFace的词元化器
    单词嵌入之前
    独热（One-Hot）编码（OHE）
    词袋（BoW）
    语言模型
    N元（N-gram）
    连续词袋（CBoW）
    单词嵌入
    Word2Vec
    什么是嵌入？
    预训练的Word2Vec
    全局向量（GloVe）
    使用单词嵌入
    模型Ⅰ——GloVE+分类器
    模型Ⅱ——GloVe+Transformer
    上下文单词嵌入
    ELMo
    BERT
    文档嵌入
    模型Ⅲ——预处理嵌入
    BERT
    词元化
    输入嵌入
    预训练任务
    输出
    模型Ⅳ——使用BERT进行分类
    使用HuggingFace进行微调
    序列分类（或回归）
    词元化数据集
    训练器
    预测
    管道
    更多管道
    GPT-2
    归纳总结
    数据准备
    模型配置和训练
    生成文本
    回顾
    谢谢您！