神经机器翻译(基础原理实践与进阶)(精)/人工智能前沿技术丛书

"探索神经机器翻译的理论基础、经典算法、原理技术、实践方法与前沿进展
揭示隐藏于不同机器翻译研究范式背后的科学问题
开启理解机器翻译技术的全新视角"

本书旨在对现阶段的神经机器翻译技术和开放问题进行介绍，力求以通俗易懂的语言向读者系统化展现神经机器翻译的内涵和外延。本书内容主要包括三部分：基础篇主要介绍神经机器翻译的基本原理，发展脉络、核心技术及若干改进方法，本篇也提供了必要的神经网络和自然语言处理基础知识；实践篇旨在激发读者更多的实战兴趣，将神经机器翻译基本技术转为璀璨的场景应用，内容包括如何训练一个神经机器翻译系统、如何在不同计算环境下部署神经机器翻译以及如何动手实现一个神经机器翻译系统；进阶篇则主要为有兴趣进一步探索和推动神经机器翻译技术发展的读者准备的，该篇概述了神经机器翻译面临的几个主要挑战、开放问题以及近期新的研究进展，如篇章级神经机器翻译、低资源神经机器翻译、多模态和鲁棒性神经机器翻译等近期新研究主题。

"熊德意，天津大学智能与计算学部教授、博士生导师、自然语言处理实验室负责人，天津大学“语言智能与技术”中外联合研究中心主任，中译语通天津大学自然语言处理联合实验室主任、中译语通人工智能首席科学家。主要研究方向为自然语言处理，特别专注于机器翻译、对话、问答、自然语言生成、常识推理、认知计算等方向的研究。在Computational？Linguistics、IEEE？TPAMI、AI、AAAI、ACL等国际有名期刊和会议上发表论文100余篇，在Springer出版英文专著一部。获得国家自然科学基金优秀青年科学基金、国家重点研发计划“政府间国际科技合作创新合作”重点专项、英国皇家学会牛顿高级学者基金等资助。获得新加坡资讯通信研究院2008年年度研究贡献奖、北京市科学技术奖二等奖、中文信息学会“钱伟长中文信息处理科学技术奖汉王青年创新奖”一等奖等奖项。曾是亚洲自然语言处理联合会AFNLP干事、新加坡中文与东方语文信息处理学会理事会成员，目前是中国中文信息学会理事。担任IALP？2012&2021程序委员会共同主席，CWMT？2017程序委员会共同主席，欧盟多国联合项目QTLeap咨询专家，ACL、EMNLP、NAACL、COLING等多个知名国际会议领域主席，以及TACL和ARR的Action？Editor等。

李良友，华为诺亚方舟实验室研究员、机器翻译团队负责人。在欧盟玛丽居里项目资助下，于2017年获得都柏林城市大学计算机博士学位。主要研究方向为自然语言处理，特别专注于机器翻译相关技术领域的研发。在ACL、EMNLP等多个国际有名会议和期刊上发表论文10余篇，并担任ACL、EMNLP等国际会议领域主席和会议审稿人。？

张？？檬，华为诺亚方舟实验室研究员。于2018年获得清华大学计算机科学与技术系博士学位。主要研究方向为机器翻译和跨语言自然语言处理。在ACL、EMNLP、AAAI、TASLP等国际有名会议和期刊上发表论文10余篇。曾获中国中文信息学会优秀博士学位论文提名奖。担任ACL、EMNLP、AAAI、IJCAI等多个知名国际会议审稿人。"

推荐序
前言
数学符号
第1章 绪论
1.1 引言
1.2 基本思想
1.2.1 基于规则的机器翻译
1.2.2 统计机器翻译
1.2.3 神经机器翻译
1.2.4 模型设计
1.3 解码
1.3.1 统计机器翻译解码
1.3.2 神经机器翻译解码
1.3.3 搜索错误与模型错误
1.4 神经机器翻译与统计机器翻译对比
1.4.1 表示
1.4.2 参数
1.4.3 模型存储
1.4.4 模型假设或约束
1.4.5 端到端
1.4.6 译文生成
1.4.7 训练方式
1.4.8 鲁棒性
1.4.9 可解释性
1.4.10 可干预性
1.4.11 低资源适应性
1.4.12 对比总结
1.5 发展历史
1.5.1 机器翻译发展历史
1.5.2 神经机器翻译发展历程
1.6 应用现状
1.6.1 维度1：通用领域vs. 垂直领域
1.6.2 维度2：多语种vs. 单语种
1.6.3 维度3：云端vs. 终端
1.6.4 维度4：在线vs. 离线
1.6.5 维度5：B 端vs. C端
1.6.6 维度6：纯文本vs. 多模态
1.6.7 维度7：人机结合vs. 人机分离
1.6.8 维度8：机器翻译+ vs.纯机器翻译
1.6.9 应用现状总结
1.7 本书组织
1.7.1 基础篇
1.7.2 原理篇
1.7.3 实践篇
1.7.4 进阶篇
1.8 阅读材料
1.9 短评：统计与规则的竞争
第I部分 基础篇
第2章 神经网络基础
2.1 神经网络
2.1.1 神经元
2.1.2 激活函数
2.1.3 神经元组织：层
2.2 神经网络训练
2.2.1 损失函数
2.2.2 随机梯度下降
2.2.3 计算图
2.2.4 训练优化
2.2.5 正则化
2.3 常用神经网络简介
2.3.1 前馈神经网络
2.3.2 卷积神经网络
2.3.3 循环神经网络
2.4 阅读材料
2.5 短评：神经网络与自然语言处理关系演变
第3章 自然语言处理基础
3.1 语言模型
3.1.1 n-gram语言模型
3.1.2 神经语言模型
3.1.3 预训练语言模型
3.2 词嵌入
3.2.1 分布表示与分布式表示
3.2.2 静态词嵌入
3.2.3 语境化词嵌入
3.2.4 跨语言词嵌入
3.3 对齐
3.3.1 文档对齐
3.3.2 句对齐
3.3.3 词对齐
3.4 语言分析
3.4.1 词法分析
3.4.2 句法分析
3.4.3 语义分析
3.4.4 语篇分析
3.5 阅读材料
3.6 短评：自然语言处理之经验主义与理性主义
第II部分 原理篇
第4章 经典神经机器翻译
4.1 编码器-解码器结构
4.1.1 编码器
4.1.2 解码器
4.2 序列到序列学习
4.3 训练
4.4 解码
4.4.1 采样
4.4.2 贪心搜索
4.4.3 柱搜索
4.5 阅读材料
4.6 短评：神经机器翻译之独立同发现——编码器-解码器vs. 序列到序列
第5章 基于注意力的神经机器翻译
5.1 经典神经机器翻译模型的瓶颈

"机器翻译是人工智能的一个缩影，神经机器翻译的诞生是人工智能的一个飞跃。本书深入浅出，系统地介绍了神经机器翻译的理论与实践，每一章节都有作者对问题的精辟见解和深入思考。本书是了解机器翻译和自然语言处理的一本难得佳作。
李海洲
IEEE Fellow，新加坡工程院院士，新加坡国立大学终身教授

熊德意教授是机器翻译领域业界的知名专家，他和李良友、张檬两位博士一起撰写的《神经机器翻译》一书，是想学习和了解机器翻译技术进展的读者都应该阅读的好书。本书的基础、原理、实践、进阶四个篇章，为不同背景和不同需求的读者提供了完整的学习材料。书中不仅详述了神经机器翻译的模型、算法等技术，还介绍了背后的思想和历史的演进。这是只有一直走在领域前沿并不断进行理论和实践探索的人才能写出的佳作。
李 航
ACL Fellow、IEEE Fellow、字节跳动AI Lab Director

语言数据是数字科技的关键要素，是数字经济时代的生产力。阅读本书，对此会有更为理性的认识。
李宇明
中文信息学会原副理事长

神经机器翻译虽然出现时间不长，但以其优异的性能迅速改变了机器翻译的面貌，成为机器翻译的主流技术，并大大拓宽了机器翻译技术的应用边界。本书是一部专门介绍神经机器翻译技术的著作，由浅入深地介绍了机器翻译的方方面面，非常适合各个层次的机器翻译研究者阅读。本书的作者熊德意是天津大学教授，是机器翻译领域的知名学者，其研究工作在国际学术界非常有影响力，李良友和张檬都是华为诺亚方舟实验室的研究员，多年在机器翻译领域一线工作，不仅研究做得非常出色，而且有着开发企业级大型机器翻译系统的丰富的经验。他们对于机器翻译的深刻理解和实战经验，可以确保这本书的质量和水准。本书非常有特色的一点是每一章后面都附有一个小节的“短评”，将机器翻译各项技术背后的思想、争议、发展演变过程娓娓道来，让读者不仅可以了解这些技术本身，也可以更好地了解这些技术背后的故事，非常精彩。强烈建议阅读此书，相信读者们一定会受益匪浅！
刘 群
华为诺亚方舟实验室语音语义首席科学家

现代意义的人工智能研究20世纪50年代初发端于机器翻译。当前这一次席卷全球的人工智能大潮在机器认知任务上取得突破也肇始于神经机器翻译。本书洋洋洒洒计二十章，俨然一部神经机器翻译的百科全书，同时还是一本技术深度指南。一卷在手，可起到机器翻译“传道、授业、解惑”之效，以其昭昭，使人昭昭。此外，我非常喜欢每章后的短评，海阔天空，信手拈来，很有启发性。
孙茂松
清华大学人工智能研究院常务副院长、欧洲科学院外籍院士

本书是了解机器翻译技术的一本全新专著。自然语言处理是人工智能皇冠上的一颗明珠，而机器翻译则是自然语言处理技术的演兵场。过去六十年，机器翻译催生并应用了几乎所有重要的自然语言处理技术。无论是从早期的基于规则的机器翻译系统，到中期的统计机器翻译，再到最近几年的神经网络机器翻译，几乎无一例外。了解机器翻译的历史沿革、技术趋势，就等于把握住了自然语言处理的发展脉搏。本书循着机器翻译技术发展的脉络，深入浅出地介绍了神经机器翻译的理论基础、技术体系和实践方法。同时，本书深刻揭示和探讨了机器翻译技术发展的推动力和未来发展方向。
周 明
创新工场首席科学家，澜舟科技创始人，
中国计算机学会副理事长，ACL主席（2019）"