RikiNet: 阅读维基百科页面进行自然问答

作者: Dayiheng Liu, Yeyun Gong, Jie Fu, Yu Yan, Jiusheng Chen, Daxin Jiang, Jiancheng Lv, Nan Duan

来源: AMiner

发布日期: 2020-07-18

本文介绍了RikiNet模型,该模型针对Google的Natural Question任务,通过阅读维基百科页面进行自然问答。RikiNet的单模型首次在Natural Question上双指标超过单人类,其集成模型在Natural Question Leaderboard取得了双指标第一名。

论文标题:RikiNet: Reading Wikipedia Pages for Natural Question Answering

作者:Dayiheng Liu,Yeyun Gong,Jie Fu,Yu Yan,Jiusheng Chen,Daxin Jiang,Jiancheng Lv,Nan Duan.

机构:四川大学,微软研究院,蒙特利尔理工大学

收录会议:ACL 2020

阅读长文档进行开放域问题回答是自然语言理解领域的一个挑战。针对Google的Natural Question任务,本文提出了一个新的模型称为RikiNet(意为Reading Wikipedia的神经网络模型),阅读维基百科的整个页面进行自然问答。

RikiNet的单模型首次在Natural Question上双指标超过单人类,其集成模型提交时在Natural Question Leaderboard取得了双指标第一名。

Google Natural Question任务随着机器阅读理解模型和问答模型的发展,越来越多的模型性能在多个数据集上超过了人类。

Google Natural Question(NQ)于19年被提出,为开放域问答提出了新的挑战。该任务给定一个用户在Google搜索引擎中输入的自然问题,以及与该问题最匹配的维基百科页面,要求模型预测出回答该问题的长答案(即该页面中的某一个段落)和短答案(即某一个answer span),以及是否存在长答案或短答案。

RikiNet模型结构如图2所示,RikiNet模型由两部分组成:(1)动态的段落双重注意力阅读器(Dynamic Paragraph Dual-attention Reader, DPDA reader),通过利用一系列互补的注意力机制和预训练语言模型对文档和问句进行编码,以得到上下文相关的问句表示,token-level和paragraph-level的文档表示。

(2)多层级的级联答案预测器(Multi-level Cascaded Answer Predictor,MCAP),利用DPDR输出的多层级表示,以级联的结构依次预测长答案、短答案和答案类型。

实验结果我们将基于BERT和RoBERTa的RikiNet模型与之前的模型进行比较,包括IBM AI,Google AI在NQ任务上提出的模型。如表1所示,我们的单模型首次在长答案(LA)和短答案(SA)的F1分数上超过单人类,并且集成模型在提交时取得了NQ leaderboard双指标第一名。

UUID: 7af26329-5651-44b4-afc4-ed231af43242

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2020年-下/2020-07-18_ACL2020RikiNet阅读维基百科页面进行自然问答(彩蛋!作者分享了PPT).txt

是否为广告: 否

处理费用: 0.0033 元