清华CoAI课题组新书《现代自然语言生成》正式发布！张钹院士亲自作序 | 文末赠书
AI科技评论今天给大家介绍一本清华CoAI课题组新书：《现代自然语言生成》。本书由中国科学院院士、清华大学教授张钹亲自作序，创新工厂首席科学家周明博士、ACL/IEEE Fellow 李航博士、ACM/AAAI/IEEE Fellow 刘兵教授联袂力荐。
前言
自然语言生成经过几十年的发展，已经成为人工智能和自然语言处理的重要研究领域。最早的自然语言生成系统采用规则、模板的方法，设计各司其职的模块进行文本生成，其中体现了很多专家设计的词汇、语法、句法甚至语用的语言学知识。统计语言模型则从概率统计的角度提出了语言建模的新思路，将词汇与上下文的依赖关系编码在条件概率中。以深度学习模型为基本架构的现代语言生成模型绝大多数通过端到端训练的方式，能更好地建模词汇与上下文之间统计共现关系，显著地提升了文本生成的性能。特别是以Transformer为基础架构的预训练语言生成模型，能够较好地捕获包括词汇、语法、句法、语义等各层面的语言学知识，极大地推动了自然语言生成的进展，生成效果令人惊叹。
技术的进步显著地推动了应用的发展。就自然语言生成而言，机器翻译、摘要生成、故事生成、对话生成、诗歌生成等任务都广泛地应用了以神经网络为基本架构的现代语言生成方法，生成效果相比传统方法进步显著，在许多实际应用场景中大显身手。
以神经机器翻译为例，在数据丰富的领域，机器翻译的效果甚至可以媲美人工翻译的效果。Google 新推出的聊天机器人Meena采用基于Transformer的架构，在某些方面接近甚至超过人类对话的效果。GPT系列模型甚至可以生成人物角色丰富、故事情节曲折的长文本故事。机器创作，包括强调创新和创意的语言生成任务，如现代诗、歌词、古诗生成等，业已成为人工智能领域广受关注的研究课题，并在一些应用场景中 落地，微软小冰甚至出版了机器创作的现代诗歌集。
AI科技评论了解到，正是出于这样的背景，本书作者认为系统地总结自然语言生成的算法、模型和技术是十分必要的。通过梳理自然语言生成特有的问题和挑战，作者希望整理、概括和归纳现有的自然语言生成模型、框架和方法，以便大家更好地思考这个领域的现状和未来。
而且，据AI科技评论了解，在目前已有的相关书籍中，还未见以自然语言生成为专题的书籍，这也是本书写作以及AI科技评论推荐本书的重要原因之一。
本书围绕文本的“条件概率建模”这条主线，从基础模型、优化方法、生成方式、生成机制等多个层面进行介绍。
在基础模型方面，本书介绍了目前主流的循环神经网络和Transformer两类模型，并从模型结构、注意力机制等角度分析了两者的区别与联系。
在优化方法方面，本书介绍了变分自编码器中变分优化和生成式对抗网络中的对抗优化方法。在生成方式方面，除了经典的自回归语言生成方式，还介绍了前沿的非自回归生成方式，为文本生成提供了一种新的视角。
在生成机制方面，本书介绍了语言生成中重要的规划机制和知识融入机制，并介绍了具体应用案例。最后系统地整理了语言生成的评价方法，从语言生成到语言评价形成了一个闭环。
最后，AI科技评论了解到，本书是清华大学计算机系、人工智能研究院对话式智能(CoAI) 小组集体努力的成果，这反映了该课题组这几年在语言生成上的探索与积累，该课题组的部分成果在本书中也有所展现。
内容简介
专家推荐
周明
原微软亚洲研究院副院长
国际计算语言学会（ACL）主席
创新工场首席科学家
在 AI 创作风起云涌的今天，故事、诗歌、散文，甚至代码，都可以由 AI 自动生成。《现代自然语言生成》无疑是非常及时和重要的一本书，它详细阐述了以神经网络为代表的现代自然语言生成的基本思想、模型和框架，全书由浅入深、浑然一体，强烈推荐读者们阅读和收藏。
李航
字节跳动AI Lab Director
ACL / IEEE Fellow
ACM杰出科学家
深度学习给自然语言处理带来了革命性的变革，尤其体现在语言生成方面。《现代自然语言生成》一书系统全面地介绍了语言生成技术，特别是基于深度学习的语言生成技术。这是一本不可多得的好书，相信对从事自然语言处理工作的人，以及学习自然语言处理知识的人都会有很大帮助。强烈推荐！
刘兵
伊利诺伊大学芝加哥分校杰出教授
ACM / AAAI / IEEE Fellow
这是一本关于自然语言生成的非常卓越的教材。内容覆盖全面，有深度，并且由浅入深，很容易阅读。每一个与自然语言生成相关的学者和实践者都值得拥有一本。
第一作者 黄民烈
本书第一作者为黄民烈博士，现为清华大学计算机科学与技术系长聘副教授。主要研究兴趣包括人工智能、自然语言处理，尤其是对话系统、语言生成。曾获中国人工智能学会吴文俊人工智能科技进步奖一等奖（排名第一），中文信息学会汉王青年创新奖，多次在国际主流会议获得最佳或杰出论文奖。研发对话系统平台ConvLab和ConvLab-2，获得NTCIR 2017年组织的短文本对话生成评测冠军。担任神经网络领域顶级期刊TNNLS（SCI一区，影响因子>11）编委，自然语言处理领域顶级期刊TACL执行编辑，多次担任自然语言处理顶级会议ACL、EMNLP的领域主席、资深领域主席、研讨会主席等。
本书目录
1.1 自然语言生成的背景概述 1.2 基本定义与研究范畴 1.3 自然语言生成与自然语言理解 1.4 传统的模块化生成框架 1.5 端到端的自然语言生成框架 1.6 典型的自然语言生成任务 1.7 自然语言生成的可控性 1.8 本书结构
2.1 统计语言模型
2.2 神经网络语言模型
2.3 静态词向量模型
2.4 语境化语言表示模型
2.5 本章小结
第3章 基于RNN的语言生成模型
3.1 RNN的基本原理
3.2 RNN的训练算法
3.3 长短期记忆神经网络与门控循环单元
3.4 RNN的架构设计
3.5 基于RNN的语言模型
3.6 序列到序列模型
3.7 解码器的解码方法
3.8 序列到序列模型存在的问题
3.9 本章小结
4.1 Transformer模型的基本原理 4.2 基于Transformer的编码器—解码器结构 4.3 Transformer模型与RNN模型的比较 4.4 Transformer模型问题与解决方案 4.5 基于Transformer的预训练语言生成模型 4.6 本章小结
第5章 基于变分自编码器的语言生成模型
5.1 自编码器
5.2 变分自编码器
5.3 条件变分自编码器
5.4 解码器设计
5.5 变分自编码器在语言生成任务上的应用实例
5.6 主要问题及解决方案
5.7 本章小结
6.1 生成式对抗网络的背景 6.2 生成式对抗网络的基本原理 6.3 生成式对抗网络的基本结构 6.4 生成式对抗网络的优化问题 6.5 生成式对抗模型在文本与图像中的区别 6.6 生成式对抗网络的应用 6.7 本章小结
7.1 基本原理 7.2 非自回归模型的挑战 7.3 非自回归模型的改进 7.4 应用与拓展 7.5 本章小结
8.1 数据到文本生成任务中的规划 8.2 故事生成任务中的规划 8.3 本章小结
第9章 融合知识的自然语言生成
9.1 引入知识的动机
9.2 引入知识面临的挑战
9.3 知识的编码与表示
9.4 融合知识的解码方法
9.5 应用实例
9.6 发展趋势
9.7 本章小结
第10章 常见的自然语言生成任务和数据资源
10.1 机器翻译
10.2 生成式文本摘要
10.3 意义到文本生成
10.4 数据到文本生成
10.5 故事生成
10.6 对话生成
10.7 多模态语言生成
10.8 无约束语言生成
10.9 本章小结
第11章 自然语言生成的评价方法
11.1 语言生成评价的角度
11.2 人工评价
11.3 自动评价
11.4 自动评价与人工评价的结合
11.5 自动评价与人工评价的统计相关性
11.6 本章小结
第12章 自然语言生成的趋势展望
12.1 现状分析
12.2 趋势展望
参考文献
完整目录和一部分试看内容可以在以下链接查看。
http://coai.cs.tsinghua.edu.cn/tools/7
https://github.com/thu-coai/NLG_book
精美实拍