基于深度学习的自然语言处理

《基于深度学习的自然语言处理》是对目前自然语言处理领域新研究的全面综述,并对其未来发展方向进行了探讨。深度学习是处理端到端学习和信息提炼所需的大量计算和数据的有力工具,因具有更复杂的分布式表示、更精细的功能块和模块化设计以及基于梯度的高效学习方法,深度学习已经成为解决越来越多自然语言处理问题的主要范式和优选方法。基于深度学习与自然语言处理之间的微妙关联,本书分别介绍了深度学习应用下的对话系统、词法分析、语法分析、知识图谱、机器翻译、问题回答、情绪分析、社会计算以及(来自图像的)自然语言生成。随着自然语言处理的应用愈加频繁,本书期望通过详实全面的介绍,能为该领域的研究人员和行业从业者提供一些有效的指导。

近几年来，深度学习已经有效改变人工智能的诸多领域，涉及语音、视觉、自然语言、机器人和游戏等。深度学习在自然语言处理领域的诸多应用方面大获成功，这使其成为人工智能领域很重要的发展基准。
    《基于深度学习的自然语言处理》介绍深度学习领域优选进的技术以及深度学习在主要的自然语言处理任务中的成功应用，包括语音识别和理解、对话系统、语义分析、句法分析、知识图谱、机器翻译、问答、情感分析、社会计算和基于图像的自然语言生成。本书对深度学习时代自然语言处理领域的不同研究前沿进行了概括与分析，还列举了深度学习与自然语言处理领域中交叉的技术性术语以及常用的首字母缩略词。
    《基于深度学习的自然语言处理》面向深度学习与自然语言处理领域高年级的本科生、研究生、博士后研究员、讲师、行业的研究员以及任何对此领域感兴趣的人。

"邓力博士，2019年当选加拿大国家工程学院和美国华盛顿州科学院院士，目前担任Citadel首席人工智能官。2000—2017年，邓博士在微软曾担任AI首席科学家、深度学习技术中心(Deep Learning Technology Center)创始人、微软合伙人研究经理。1989—1999年，邓博士在加拿大滑铁卢大学曾担任助理教授、终身副教授和正教授，还曾在麻省理工学院(1992—1993年)、ATR(1997—1998年，日本京都)和香港科技大学(1995年，香港)担任教学/研究职位。邓博士是IEEE(2004)、美国声学学会(1993)和ISCA(2011)的研究员。自2000年以来，邓博士一直是西雅图华盛顿大学的兼职教授。

    刘洋博士，清华大学计算机科学与技术系长聘教授、人工智能研究所所长，国家杰出青年基金获得者。研究方向是自然语言处理，在自然语言处理和人工智能领域重要靠前刊物和靠前会议上发表80余篇论文，获得ACL 2017杰出论文奖和ACL 2006很好亚洲自然语言处理论文奖。获得国家科技进步二等奖、中国电子学会科技进步一等奖、中国中文信息学会钱伟长青年创新一等奖、北京市科学技术奖二等奖等多项科技奖励。担任或曾担任靠前计算语言学学会亚太分会执委兼秘书长、Computational Linguistics编委、ACM TALLIP副编辑、中国中文信息学会青年工作委员会主任。"

章自然语言处理与深度学习概述1
1.1自然语言处理的概况1
1.2大浪潮：理性主义2
1.3第二大浪潮：经验主义4
1.4第三大浪潮：深度学习7
1.5从现在到未来的转变11
1.5.1从经验主义到深度学习的变革11
1.5.2当前深度学习技术的限制12
1.6自然语言处理未来的发展方向13
1.6.1神经符号集成(NeuralSymbolic Integration)13
1.6.2结构、记忆和知识15
1.6.3无监督和生成式深度学习15
1.6.4多模式和多任务深度学习16
1.6.5元学习17
1.7结论18第2章基于深度学习的对话语言理解20
2.1引言20
2.2历史性视角22
2.3主要的语言理解任务24
2.3.1域检测和意图识别24
2.3.2填槽24
2.4提升技术水平：从统计建模到深度学习25
2.4.1域检测和意图识别25
2.4.2填槽28
2.4.3联合多任务多域模型35
2.4.4上下文理解37
2.5结论40第3章基于深度学习的语音与文本对话系统43
3.1引言43
3.2系统组件的学习方法46
3.2.1判别性方法47
3.2.2生成性方法48
3.2.3决策性方法49
3.3目标导向型神经对话系统49
3.3.1神经语言理解49
3.3.2对话状态追踪器50
3.3.3深度对话管理器51
3.4基于模型的用户模拟器53
3.5自然语言生成54
3.6基于端到端深度学习构建对话系统57
3.7面向开放式对话系统的深度学习59
3.8对话建模的数据集60
3.8.1卡内基·梅隆传播语料库60
3.8.2ATIS：航空旅行信息系统飞行员语料库60
3.8.3对话状态追踪挑战数据集60
3.8.4Maluuba框架数据集61
3.8.5Facebook对话数据集62
3.8.6Ubuntu对话语料库63
3.9开源对话软件63
3.10对话系统评估65
3.11结论67第4章基于深度学习的词法分析和句法分析68
4.1引言68
4.2典型的词法分析和句法分析任务69
4.2.1分词69
4.2.2词性标注70
4.2.3句法分析70
4.2.4结构化预测问题72
4.3结构化预测74
目录4.3.1基于图的方法75
4.3.2基于转移的方法77
4.4基于神经图的方法82
4.4.1神经条件随机场82
4.4.2基于图的神经依存句法分析84
4.5基于神经转移的方法86
4.5.1贪婪移位减少依存句法分析86
4.5.2贪婪序列标注90
4.5.3全局优化模型94
4.6结论101第5章基于深度学习的知识图谱102
5.1引言102
5.1.1基本概念103
5.1.2典型的知识图谱103
5.2知识表征学习107
5.3神经关系抽取109
5.3.1语句级NRE109
5.3.2文档级NRE115
5.4知识与文本的桥梁:实体连接116
5.4.1实体连接框架117
5.4.2用于实体连接的深度学习120
5.5结论127第6章基于深度学习的机器翻译129
6.1引言129
6.2统计机器翻译及其面对的挑战130
6.2.1基本原理130
6.2.2统计机器翻译所面对的挑战133
6.3基于组件深度学习的机器翻译134
6.3.1用于词对齐的深度学习与基于深度学习的词对齐134
6.3.2用于翻译规则概率估计的深度学习137
6.3.3用于短语调序的深度学习140
6.3.4用于语言建模的深度学习142
6.3.5用于特征组合的深度学习143
6.4基于端到端深度学习的机器翻译146
6.4.1编码器解码器框架146
6.4.2机器翻译的神经注意力148
6.4.3处理大词汇量的技术挑战150
6.4.4使用端到端训练直接优化评估指标152
6.4.5结合先验知识153
6.4.6低资源语言翻译156
6.4.7神经机器翻译中的网络结构158
6.4.8SMT和NMT的结合159
6.5结论161第7章基于深度学习的问答系统163
7.1引言163
7.2基于深度学习的KBQA164
7.2.1信息提取范式165
7.2.2语义分析范式169
7.2.3对比信息提取范式与语义分析范式174
7.2.4数据集174
7.2.5挑战176
7.3基于深度学习的机器阅读理解177
7.3.1任务描述177
7.3.2基于特征工程的方法182
7.3.3基于深度学习的方法186
7.4结论191第8章基于深度学习的情感分析194
8.1引言194
8.2特殊情感词嵌入196
8.3语句级情感分类201
8.3.1卷积神经网络202
8.3.2循环神经网络204
8.3.3递归神经网络207
8.3.4整合外部资源209
8.4文档级情感分类210
8.5细粒度情感分析213
8.5.1意见挖掘214
8.5.2针对特定目标的情感分析215
8.5.3方面级情感分析218
8.5.4立场检测221
8.5.5讽刺识别222
8.6结论223第9章基于深度学习的社会计算224
9.1引言224
9.2基于深度学习对用户生成内容进行建模228
9.2.1传统的语义表征方法229
9.2.2基于浅层嵌入技术的语义表征229
9.2.3基于深度神经网络的语义表征232
9.2.4运用注意力机制增强语义表征236
9.3基于深度学习建立社会联系模型237
9.3.1社交媒体中的社交联系237
9.3.2建模社会关系的网络表征学习方法238
9.3.3基于浅层嵌入的模型239
9.3.4基于深度神经网络的模型243
9.3.5网络嵌入的应用244
9.4基于深度学习的推荐系统245
9.4.1社交媒体中的推荐系统245
9.4.2传统推荐算法246
9.4.3基于浅层嵌入的模型246
9.4.4基于深度神经网络的模型248
9.5结论2540章基于深度学习的图像描述255
10.1引言255
10.2背景介绍256
10.3图像描述的深度学习框架257
10.3.1端到端框架257
10.3.2组合框架260
10.3.3其他框架262
10.4评估指标和基准263
10.5图像描述的工业部署264
10.6示例：图像中的自然语言描述265
10.7从图像生成文体自然语言的研究进展268
10.8结论2701章后记：深度学习时代下自然语言处理的前沿研究271
11.1引言271
11.2两个新视角272
11.2.1以任务为中心的视角273
11.2.2以表征为中心的视角274
11.3基于深度学习的NLP的最新研究进展与热点276
11.3.1组合性泛化276
11.3.2NLP中的无监督学习277
11.3.3NLP中的强化学习278
11.3.4NLP中的元学习280
11.3.5弱可解释性与强可解释性282
11.4结论284附录参考答案288术语表360