今日,终于等到了 NeurIPS 2020 的录取邮件通知!朋友圈里低调很久的大佬们也纷纷晒出了录用邮件截图,毕竟一年来熬夜做实验、写论文的付出得到了肯定。从杜克大学陈怡然老师微博上的消息也可以看出,今年共有 9454 篇论文提交,1900 篇总接收,录取率仅为 20.09%,其中 105 篇被接收为 oral,280 篇被接收为 spotlight,剩下的都被接收为 poster。
首先对比一下 2013 年至今的数据,很明显可以看出今年 20.09% 的录取率称得上史上最低,但是最近三年的录取率都在 21% 左右,其实今年的录取率相对而言也不是特别低。这一数据可以更直观地用下图来表示:
其实并不意外,回顾 NeurIPS 2020 这一年,变化很多,为了把控论文质量的同时提高评审效率,NeurIPS 今年在某些地方做的很用心,而某些地方则很狠心。这些变化其中之一就是评审机制大变动:领域主席可拒稿 20%,作者即评审,布局远程会议!具体变动见如下。
第一,将摘要提交截止日期提前至 5 月 5 日,论文提交截止日期提前至 5 月 12 日,以给组委会预留更加充足的时间来审阅数量上大幅增加的论文投稿,以及给评审过程中的早期拒稿阶段更多的考量时间。第二,早期拒稿:领域主席有两周的时间来挑选出一批早期拒稿的论文,比例大概为 20%。接着由高级领域主席在一周时间内通过决议,一经通过,被拒稿的论文作者就会收到其论文不会再接受进一步评审的通知。
第三,作者即评审:要求每篇论文的每位作者或共同作者,在要求他们参与评审论文的情况下都同意参与评审论文。这项要求能够有效地扩大评审团队的规模,并且还能够在包括向 NeurIPS 投稿的作者在内的社区成员间公平地分配评审负担。第四,提交影响陈述:要求作者在投稿论文中单独拟一个章节来探讨他们这项工作将带来的更广泛的影响,包括可能带来的正面或负面的社会影响。
第五,视频 spotlight:要求所有的作者在 camera-ready 提交截止前,都上传论文的 spotlight 演示视频。现在 NeurIPS 正在尝试为远程演示和远程参会做准备工作。
今年 7 月,NeurIPS 在 Medium 官方账号发布了文章《Reviewing is Underway!》,对今年的投稿情况和审稿流程进行了说明。文章中提到,今年的 NeurIPS 投稿数量比 2019 年增长了 38%,具体而言,一共收到了 12115 份摘要,但随后提交完整的只有 9467 份。另外还有 184 篇论文有违规行为:被作者撤回、非匿名提交以及论文篇幅超过最大页数等。
1、NeurIPS 直接拒绝机制:今年 NeurIPS 组委会指派领域主席和 Senior 领域主席承担“直接拒绝”的任务。其中领域主席识别可能被拒绝的论文,Senior 领域主席反复核对这些论文。因此,每一篇被直接拒绝的论文,都有两位资深的专家“签字”。值得一提的是,为了降低偏见,这两位专家是看不到论文作者的信息。直接拒绝有利有弊,有很多地方可以改进。
“直接拒绝”除了减轻了审稿者的负担外,还能够让领域主席和 Senior 领域主席更加熟悉分配给他们的论文,为他们随后“领导”审稿人提供帮助。此外,直接拒绝的坏处是,这些论文的作者几乎没有得到什么建设性的反馈来改进他们的论文。
2、NeurIPS 预注册机制:今年九月,AI 科技评论最新消息,NeurIPS2020 提出尝试机器学习论文的新型发表和同行评审模式,即预注册。
预注册简而言之,就是将提出 idea 的过程和实验结果确认分为两个阶段。在研究人员进行实验之前,先把研究 idea 提交给 NeurIPS,然后由评审决定该 idea 是否可行,通过的 idea 视为预注册成功,然后研究人员可以着手进行实验,无论实验是失败还是成功,结果都将发表在 NeurIPS2020 的一个研讨会中。
对于提出这项尝试的初衷,NeurIPS 表示:在过去几年中,机器学习取得了巨大进步,其中基准数据集发挥了关键作用。但是,论文评审可能会倾向于将基准的增量改进放在优先位置,从而妨碍了其他类型研究课题的进步,甚至将好的 idea 扼杀在婴儿期。论文计划书是根据科学兴趣进行评估的,而不是是否达到 SOTA。
3、EMNLP Findings:今年,EMNLP 2020 带来了:“Findings of ACL: EMNLP 2020”。这是一种新的接收论文类型,EMNLP 表示,这将使更多高质量的论文(短篇和长篇)被接收。它用于刊登在主会上未被接收,但经过程序委员会评估为足够 solid 的工作,其实质、质量和新颖性有足够保证。这些论文将作为 ACL 选集的一部分被收录。
Findings 中的论文将遵循与 EMNLP 2020 会议录中接受的论文相同的时间表。也就是说,它们有相同的 DDL。这些论文与 EMNLP 会议接收的论文不同之处在于,Findings 论文不会在会议上进行演讲(包括演讲和 poster)。被 Findings 接收的论文不能提交给其他会议或期刊。
其实,这些年来,顶会投稿量越来越多:但是 AI 顶会总录用率却是连续下降多年:会议加总之后,会议录用率趋势不得不感慨,AI 顶会灌水越来越难,顶会其实也在求变,而作为研究者,还是要潜心做研究才有出路。
最后今年大会的注册已经于 9 月 15 日开启,其中学生的注册费用仅为 25 美元,其他参会者则为 100 美元,这一价格相比去年的线下参会的 420 和 750 美元优惠了不少,线上会议诚不欺我!另外,所有人都可以在无需注册的情况下访问 Tutorial、Keynote,而 Poster 宣讲的录像也预计会在会议结束后公开。