第 58 届 ACL 会议正在如火如荼的进行,随着主会议的开始,本届会议的最佳论文也已被选出。刚刚,自然语言处理领域的顶会 ACL 2020 公布最佳论文,本次共颁布了 4 个奖项共 8 个获奖名额,分别是:最佳论文(1 篇)、最佳主题论文(1 篇)、最佳 DEMO 论文(1 篇)、荣誉提名论文(5 篇)。
最佳论文的获奖者为美国的研究人员,论文题目为:Beyond Accuracy: Behavioral Testing of NLP models with CheckList。文章来自微软研究院的 Ribeiro Marco Tulio,华盛顿大学的 Wu Tongshuang 、Guestrin Carlos,加州大学欧文分校的 Singh Sameer。
这篇文章提出了自然语言处理的一种模型无关和任务无关的测试方法,虽然测量精度一直是评价通用化的主要方法,但它往往高估了 NLP 模型的性能,而评价模型的替代方法要么侧重于个体任务,要么侧重于具体行为。受软件工程中行为测试原理的启发,作者介绍了一种测试 NLP 模型的不确定任务方法 CheckList。
本届的最佳主题论文为:Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data。文章来自华盛顿大学的 Emily M. Bender 及萨尔兰大学的 Alexander Koller。
NLP 的现状是大型神经语言模型(LMs),如 BERT(Devlin et al,2019)或 GPT-2(Radford 等人,2019 年),正在一系列任务上取得巨大进展,包括那些表面上意义重大的任务。在本文中,作者们认为,与当前的一些炒作相比,意义不能仅仅从形式中学习,意义是语言形式与交际意图之间的关系。
最佳 demo 论文的获奖者为来自伊利诺伊大学、哥伦比亚大学及美国陆军研究所的 Manling Li, Alireza Zareian, Ying Lin1, Xiaoman Pan, Spencer Whitehead, Brian Chen, Bo Wu, Heng Ji, Shih-Fu Chang,Clare Voss, Daniel Napierski, Marjorie Freedman 等人。
论文题目为:GAIA: A Fine-grained Multimedia Knowledge Extraction System。这篇文章里,作者推出第一款全面、开放的、源多媒体知识提取系统,它将来自不同来源和语言的大量非结构化、异构的多媒体数据流作为输入,并且创建一个连贯的、结构化的知识库,索引实体、关系和事件,遵循丰富、细粒度的本体。
另外本次会议还给出了 5 篇荣誉提名论文,分别为:1 Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks;2 Tangled up in BLEU: Reevaluating the Evaluation of Automatic Machine Translation Evaluation Metrics;3 How Can We Accelerate Progress Towards Human-like Linguistic Generalization?;4 Torch-Struct: Deep Structured Prediction Library;5 Prta: A System to Support the Analysis of Propaganda Techniques in the News。
今年的论文提交数量创了新纪录,ACL2019 共接收了 2906 篇论文,今年则收到了来自 57 个国家的 3429 篇论文,比 2019 年增长了 18%。此外,本次接收的论文数量也创了历史新高,共有 779 篇被接收,其中有 571 篇是长论文,而 208 篇是短论文。如果将 29 篇直接被拒和 312 篇撤回的排除在外,接收率为 25.2%。
但如果加上直接被拒和撤回的,接收率只有 22.7%,跟去年持平。在国家和地区层面,根据论文作者提交的国家/地区的相关统计信息,共有 57 个国家/地区提交了论文。中美依旧是 ACL 的最大输出国,贡献了超过 64% 的论文!而这两国之中,中国(包括香港、台湾、澳门)共提交论文超过 1170 篇,比美国多出了 130 多篇!稳坐投稿量第一的位置。
在被接收数方面,中国只有 205,比美国少了 100 篇。中国接收率 17.5% 遗憾未进前十,美国则未进前五。被接受论文最多的五个国家是美国(305)、中国(205)、英国(50)、德国(44)和日本(24)。