第57届国际计算语言学协会年会(ACL 2019)已于本月初在意大利佛罗伦萨闭幕。作为自然语言处理(NLP)领域的国际顶级学术会议,自1962年成立之初,ACL就一直致力于推动计算语言学及自然语言处理相关研究的发展和国际学术交流。
本次会议创下了国际NLP顶会的新纪录,论文提交数量飙升到2906篇,最终收录论文660篇,录取率仅为22.7%。今年会议投稿最多的3个领域分别是,信息提取和文本挖掘占所有有效提交的9.2%;机器学习占比8.2%;机器翻译占比7.7%。可见,自然语言处理研究是迎来了黄金时代。
学术君整理了ACL 2019收录的部分论文,除了对8篇最佳论文的介绍,我们还对本公号近期发布的ACL 2019论文解读文章进行了汇总整理,供大家学习参考。
Bridging the Gap between Training and Inference for Neural Machine Translation
论文作者:Wen Zhang,Yang Feng,Fandong Meng,Di You,Qun Liu
论文地址:https://arxiv.org/pdf/1906.02448.pdf论文摘要:神经机器翻译(NMT)是以上下文为条件来预测下一个词,从而顺序地生成目标词。在训练时,它以ground truth词汇作为上下文进行预测;而在推理时,它必须从头开始生成整个序列。
反馈上下文信息的这种差异会导致误差累积。此外,词级训练要求所生成的序列与ground truth序列之间严格匹配,这导致对不同的但合理的翻译的过度校正。在本文中,我们在模型训练中不仅从ground truth序列还从预测序列中来采样上下文,其中预测序列是用句子级最优来选择的。
我们在Chinese->English和WMT‘14 English->German的翻译任务的实验结果表明,我们的方法可以在多个数据集上实现显著的改进。
Evaluating state-of-the-art models of speaker commitment
论文作者:Nanjiang Jiang,Marie-Catherine de Marneffe
论文地址:https://www.aclweb.org/anthology/P19-1412论文摘要:当一个人,比如Mary问你“你知不知道佛罗伦萨全都是游客?”,我们会认为她相信佛罗伦萨全都是游客;但如果她问“你觉得佛罗伦萨游客多吗?”,我们就不会这样认为。推断说话人承诺(或者说事件真实度)是问答和信息提取任务中的关键部分。
在这篇论文中,作者们探索了这样一个假说:语言学信息的缺乏会影响说话人承诺模型中的错误模式。他们的验证方式是在一个有挑战性的自然语言数据集上分析模型错误的语言学关联性。作者们在CommitmentBank这个由自然英语对话组成的数据集上评价了两个目前最好的说话人承诺模型。
Emotion-Cause Pair Extraction:A New Task to Emotion Analysis in Texts
论文作者:Rui Xia,Zixiang Ding
论文地址:https://arxiv.org/pdf/1906.01267.pdf
论文摘要:情绪原因提取(Emotion cause extraction,ECE)是一项旨在提取文本中某些情绪背后潜在原因的任务,近年来由于其广泛的应用而受到了很多关注。然而,它有两个缺点:1)情绪必须在ECE原因提取之前进行标注,这极大地限制了它在现实场景中的应用;2)先标注情绪然后提取原因的方式忽略了它们是相互指示的事实。
在这项工作中,我们提出了一项新任务:情绪-原因对提取(emotion-cause pair extraction,ECPE)。这个任务旨在提取文本中潜在的情绪-原因对。
A Simple Theoretical Model of Importance for Summarization
论文作者:Maxime Peyrard
论文地址:https://www.aclweb.org/anthology/P19-1101
论文摘要:摘要研究主要由经验方法驱动,手工精心调制的系统在标准数据集上表现良好,但其中的信息重要性却处于隐含状态。我们认为建立重要性(Importance)的理论模型会促进我们对任务的理解,并有助于进一步改进摘要系统。
Transferable Multi-Domain State Generator for Task-Oriented Dialogue Systems
论文作者:Chien-Sheng Wu,Andrea Madotto,Ehsan Hosseini-Asl,Caiming Xiong,Richard Socher and Pascale Fung
论文地址:https://arxiv.org/pdf/1905.08743.pdf论文摘要:过度依赖领域本体和缺乏跨领域知识共享是对话状态跟踪的两个实际存在但研究较少的问题。现有方法通常在推理过程中无法跟踪未知slot值,且通常很难适应新领域。
在本文中,我们提出了一个可转换对话状态生成器(Transferable Dialogue State Generator,TRADE)它使用复制机制从话语中生成对话状态,当预测在训练期间没有遇到的(domain,slot,value)三元组时可以促使知识转移。
We need to talk about standard splits
论文作者:Kyle Gorman and Steven Bedrick
论文地址:https://wellformedness.com/papers/gorman-bedrick-2019.pdf
论文摘要:语音和语言技术的标准做法是根据在一个测试集上的性能来对系统进行排名。然而很少有研究人员用统计的方法来测试性能之间的差异是否是由偶然原因造成的,且很少有人检查同一个数据集中分割出不同的训练-测试集时的系统排名的稳定性。
Zero-Shot Entity Linking by Reading Entity Descriptions
论文作者:Lajanugen Logeswaran,Ming-Wei Chang,Kenton Lee,Kristina Toutanova,Jacob Devlin and Honglak Lee
论文地址:https://arxiv.org/pdf/1906.07348.pdf
论文摘要:我们提出了zero-shot实体链接任务,其中mentions必须链接到没有域内标记数据的未曾见过的实体。这样做的目的是实现向高度专业化的领域的鲁棒迁移,因此我们不会假设有元数据或别名表。
OpenKiwi:An Open Source Framework for Quality Estimation
论文作者:Fabio Kepler,Jonay Trenous,Marcos Treviso,Miguel Vera and André F. T. Martins
论文地址:https://arxiv.org/pdf/1902.08646.pdf
论文摘要:基于PyTorch的开源框架OpenKiwi,该框架可用于翻译质量评估。OpenKiwi支持单词级和句子级质量评估系统的训练和测试,实现了WMT 2015-18质量评估比赛中的最佳系统。
以下十篇文章是本公众号近来发布的对ACL 2019相关论文的解读。
Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs
论文作者:Deepak Nathani,Jatin Chauhan,Charu Sharma,Manohar Kaul
论文地址:https://arxiv.org/pdf/1906.01195.pdf
论文解读:为知识图谱添加注意力机制。
Cognitive Graph for Multi-Hop Reading Comprehension at Scale
论文作者:Ming Ding,Chang Zhou,Qibin Chen,Hongxia Yang,Jie Tang
论文地址:https://arxiv.org/pdf/1905.05460.pdf
论文解读:揭秘认知图谱!
Few-Shot Representation Learning for Out-Of-Vocabulary Words
论文作者:Ziniu Hu,Ting Chen,Kai-Wei Chang,Yizhou Sun
论文地址:https://arxiv.org/pdf/1907.00505.pdf
论文解读:学习词表外的词表示。
Dynamically Fused Graph Network for Multi-hop Reasoning
论文作者:Yunxuan Xiao,Yanru Qu,Lin Qiu,Hao Zhou,Lei Li,Weinan Zhang,Yong Yu
论文地址:https://arxiv.org/pdf/1905.06933.pdf
论文解读:用于多跳推理的动态融合图网络。
GraphRel:Modeling Text as Relational Graphs for Joint Entity and Relation Extraction
论文作者:Tsu-Jui Fu,Peng-Hsuan Li,Wei-Yun Ma
论文地址:https://tsujuifu.github.io/pubs/acl19_graph-rel.pdf
论文解读:将文本建模为关系图用于关系提取。
Matching the Blanks:Distributional Similarity for Relation Learning
论文作者:Livio Baldini Soares,Nicholas FitzGerald,Jeffrey Ling,Tom Kwiatkowsk
论文地址:https://arxiv.org/pdf/1906.03158.pdf
论文解读:预训练关系表示模型。
Scoring Sentence Singletons and Pairs for Abstractive Summarization
论文作者:Logan Lebanoff,Kaiqiang Song,Franck Dernoncourt,Doo Soon Kim,Seokhwan Kim,Walter Chang,Fei Liu
论文地址:https://arxiv.org/pdf/1906.00077.pdf
论文解读:基于单句和双句打分的生成式摘要。
Generating Summaries with Topic Templates and Structured Convolutional Decoders
论文作者:Laura Perez-Beltrachini,Yang Liu,Mirella Lapata
论文地址:https://arxiv.org/pdf/1906.04687.pdf
论文解读:利用主题模板进行维基百科摘要生成。
Modeling Semantic Compositionality with Sememe Knowledge
论文作者:Fanchao Qi,Junjie Huang,Chenghao Yang,Zhiyuan Liu,Xiao Chen,Qun Liu,Maosong Sun
论文地址:https://arxiv.org/pdf/1907.04744.pdf
论文解读:用义原知识建模语义合成。
Improving Multi-turn Dialogue Modelling with Utterance ReWriter
论文作者:Hui Su,Xiaoyu Shen,Rongzhi Zhang,Fei Sun,Pengwei Hu,Cheng Niu and Jie Zhou
论文地址:https://arxiv.org/pdf/1906.07004.pdf
论文解读:使用表达改写提升多轮对话系统效果。