如何掌握好自然语言处理中的预训练语言模型?你需要读这本书
预训练语言模型属于人工智能领域中自然语言处理领域的一个细分,是自然语言处理领域的重要突破,得到了越来越广泛的关注,相关研究者和从业人员在实际应用的过程中,亟需一本理论翔实、代码细节充分的参考书。本次给大家赠送3本新书,即《预训练语言模型》。
本书内容
本书详细梳理了预训练语言模型的基本概念和理论基础,并通过实际代码的讲解, 阐述了具有代表性的预训练语言模型的实现细节,非常适合需要快速、全面掌握预训练语言模型的从业者阅读。全书共8章,约200页,全彩色印刷。
第1章:预训练语言模型简介
讲解自然语言处理的研究进展,预训练语言模型自然语言表示,预训练语言模型发展史及分类。
第2章 预训练语言模型基础知识
讲解统计语言模型,神经网络语言模型,词向量,RNN和LSTM基础,基于RNN的语言模型,ELMo模型。
第3章 Transformer与Attention
讲解Transformer 的结构,Self-Attention的思想,位置编码与单向掩码,模型的训练技巧。
第4章 GPT系列模型
讲解GPT的结构,如何在不同任务中使用,GPT的核心代码解读 ,GPT-2与GPT-3的特点。
第5章 BERT模型
讲解BERT的特征提取能力,无监督训练,微调训练用于句对分类,单句分类,文本问答,单句标注等下游任务,核心代码解读。
第6章 后BERT时代的模型
讲解跨语言模型XLM,多任务融合MT-DNN,文本生成模型UniLM,更大掩码范围的SpanBERT,置换自回归模型XLNet,用于知识图谱的ERNIE,多模态融合模型VideoBERT等。
第7章 评测和应用
讲解自然语言处理的通用评测任务 ,领域评测任务 ,其他评测任务,以及Transformers 代码实战,多模态预训练模型。
第8章 总结和展望
讲解预训练语言模型的发展现状和未来展望。
本书作者:
邵浩 日本国立九州大学工学博士,现就职于vivo。曾任狗尾草智能科技AI研究院院长,带领团队打造了AI虚拟生命产品的交互引擎。曾是上海对外经贸大学副教授,硕士生导师。是上海市静安区首届优秀人才,上海市人才发展基金获得者,杭州市高层次人才。任中国中文信息学会青年工作委员会委员,语言与知识计算专委会委员,中国计算机学会语音对话与听觉专业组委员,中文信息技术专委会委员。发表论文50余篇,获专利10余项,主持多项***及省部级课题,曾在联合国、世界贸易组织、亚利桑那州立大学、香港城市大学等机构任访问学者。刘一烽全国中学生物理竞赛保送生,清华大学电子系硕士,曾获学习成绩优异奖学金。现任vivo人工智能研究院AI算法工程师,主要研究方向为强化学习、自然语言处理,主导游戏AI和机器翻译核心算法研发工作。