【NLP】详聊NLP中的阅读理解（MRC）

机器阅读理解，笔者认为他是NLP中最有意思的任务了。机器阅读一份文档之后，可以“理解”其中的内容，并可以回答关于这份文档的问题。听上去，有一种很强的“人工智能”的Feel。

这篇文章介绍机器阅读理解（Machine Reading

Comprehension），包括MRC的概况、做法以及主要模型。

作者&编辑 | 小Dream哥

目标

目前来讲，还没有一种NLP技术，能够端到端的实现对文本的理解。通常是转化位不同的NLP任务，来实现对文本不同层面的“理解”，例如如下的任务：

  1. 词性识别

  2. 命名实体识别

  3. 句法依存

  4. 句法依存

MRC也是一种理解文本的任务，它的大体模式是：机器阅读文档，并回答相关的问题。

这跟我们做英语的阅读理解题目是非常的相似，阅读一篇英文章之后，基于此，做后面的几道选择题或者填空题。

MRC发展概况

在MRC的早期主要是一些基于规则和机器学习方法的MRC系统：

  1. 1997，QUALM system

  2. 1999. Reading Comprehension dataset by Hirschman et al

  3. 1999 Deep Read System (rule-based BOW model)

  4. 2000 QUARC system (rule-based)

  5. 2013-2015 MCTest(and 4 on1)  and ProcessBank(Y/N)  dataset

  6. 2014 Statistical Model

  7. Machine learning Models(map the question to formal queries)

上述基于规则的系统，通常能够获得30-40%的准确率，机器学习模型取得了一些进展，但也有一些问题，例如：

  1. 严重依赖一些基于语法和语言学的工具

  2. 数据集太小

  3. 基于现有的语言学工具，很难特征构建有效的特征

随着深度学习时代的到来，这种情况得到了很大的改上，出现了如下的模型是数据集：

  1. 2015. The Attentive Reader(Hermann et al). Achieved 63% accuracy

  2. 2015 CNN and Daily Mail

  3. 2016 Children Book Test

  4. 2016 The Stanford Question Answer Dataset (SQUAD 1)

  5. 2017 Match-LSTM,BiDAF,TrivalQA,R-net,RACE

  6. 2018. QANet, NarrativeQA ,BiDAF+self-attention+ELMO,SQuAD 2.0, The Standford Attentive Reader,BERT, HotPotQA

我们现在来正式的定义一下基于神经网络的MRC：

给定一个训练数据集{P，Q，A}，目标是学习一个函数f:

f（p，q）-> a

其中，P是文档集，Q是问题集，A是答案集。

根据Answer的类型，我们可以把目前的MRC系统分为以下4类：

  1. 完形填空类型（cloze）

  2. 多项选择（Multiple Choice）

  3. Span Prdiction

  4. Free-From answer

The Standford Attentive Reader

如下图所示，展示了Stanford Attentive Reader模型结构图

这里的SAR主要用来解决的是span prediction的MRC问题。设给定一篇文章p，长度位l1；同时给定一个问题q，长度位l2；目的是预测一个span（start,end）,start和end是P上词位置，并且这个span是这个问题的答案。

模型将这个任务转化为序列上的二分类问题，即对于文章中的每个词，都预测这个词分别是start和end的得分，最后用这个分数来预测span。

1）question部分的编码

主要是对question进行编码，先经过embedding层，而后用BiLSTM进行序列建模，最终每个词的表征为：

然后，接一个带权重的softmax，得到一个编码向量q，如下的公式所示：

2）Passage编码部分

Passage的编码也是先经过embedding，再通过BiLSTM进行序列建模，最终每个词的表征为：

需要注意的是，输入BiLSTM的emdedding向量是由4部分concate而成的：

  1. Glove生成的embedding

  2. embedding对齐特征，通过与q的embedding做attention而得到

  3. 词性特征

  4. 实体类型特征

3）prediction部分

简单来说就n个二分类，根据q和p分别预测每个词是start及end的概率：

4）损失函数

训练过程中采用的损失函数如下：

这个模型还可以转化为上述的cloze，multiple-choice等类型的MRC任务，做一些简单的调整即可。

我们前面还介绍过，如何基于BERT来做MRC的任务，感兴趣的读者可以看看：

【NLP】如何利用BERT来做基于阅读理解的信息抽取

总结

基于MRC可以完成知识抽取、QA等重要的NLP任务，读者务必熟悉。

赞 (0)

相关推荐