深度学习的顶级会议ICLR 2020将于明年4月26日于埃塞俄比亚首都亚的斯亚贝巴举行。今日ICLR 2020放榜,最终2594篇论文中共有687篇被接收,其中48篇orals,108篇spotlights,531篇poster。录取率为26.5%,相比去年的31.4%略有下降。据统计,约有320篇被接收论文中有华人学者参与,占比47%。
ICLR 2020官方评审页面:https://openreview.net/group?id=ICLR.cc/2020/Conference
从官方发布的博文可知,今年的审稿过程与去年基本保持不变,但进行了两项调整:大会组委会不允许在评审期间进行公开评论,以使作者和审稿人对讨论的要点有清晰的认知,并且留有一周进行替换和紧急评审。
此外,为了帮助审稿人做出更清晰的决策,今年的评分系统也做了简化,组委会取消了中性评分的选项:只保留“reject(拒绝)、weak reject(弱拒绝)、weak accept(弱接受)、accept(接受)”四个选项。通过将评分分配给上述四项评分选项,以产生平均分数。由于各种原因,分数是不对称分布的,分别为1、3、6和8。
对于接收的论文,组委会担心审稿人不愿意给出10分,实际对于作者来说可能希望论文被接收,但并不意味着它应该得到10分。此外,3分到6分之间的较大差距使得弱拒绝和弱接受之间得以有更大区分,以提供更多的建议从而避免“中立”。尽管这些做法有些不典型,但得出的平均值对于最终指导决策还是有意义的。
对于ICLR来说,随着每年提交论文数量的显著增长,导致建立具有丰富经验的大型审稿人库的任务日益艰巨。
今年总共有119位AC和2200位审稿人参与了审稿工作,虽然审稿人数没有委员会最初预期的规模那么大,也使得评审人的负担超出了预期,但最终接收论文的质量都很高。此外,ICLR2020也拒绝了少数论文(不到20篇),因为它们违反了“双重提交政策”。同时也撤回了大量论文,比如与其他会议截止日期临近和重叠,或与其他会议如ACL的“匿名政策”不相符的论文。
ICLR 2020论文入选结果公布后,来自南加利福尼亚大学计算机专业的博士生小哥哥Sun Shao-Hua对此次提交的论文数据进行了详细分析。此外,他也有一篇论文被接收为spotlight论文。该OpenReview数据已经上传至:https://github.com/shaohua0116/ICLR2020-OpenReviewData#Data
从ICLR2020论文评分的直方图可见,审稿人的评分分布集中在4分左右(平均为4.1822分)。其中得4分的有367篇;得5分的有266篇;得8分的有34篇。
1. 一篇评分为6-8-8的论文被拒了:《Ted:A Pretrained Unsupervised Summarization Model With Theme Modeling And Denoising》https://openreview.net/forum?id=Syxwsp4KDB。
2. 而一篇评分为1-3-3的论文竟被接收:《Efficient Probabilistic Logic Reasoning with Graph Neural Networks》https://openreview.net/forum?id=rJg76kStwH。3. 得分为3-6-8的论文中有62%被接收;4. 得分为3-6-6篇论文中只有27.8%被接收。审稿人评分的累积总和见下图。
下图是由投稿关键词生成的词云图,突出了深度学习、强化学习、表示学习、生成模型、图形神经网络等热点话题。TOP50关键字词其频率见下图。根据审稿人的平均评分和关键词的频率表明,如果想要增加你得高分的几率可以多使用关键字,比如深入学习或梯度下降等。
ICLR 2020平均评审长度为407.91字。直方图如下:反驳期间审稿人评分发生了变化。所有人的评分变化见下图:每篇论文的平均评分变化见下图:
在ICLR2020上出现了34篇满分论文,其中有不少来自清华、上海交大、哈工大、西安电子科大等国内高校以及华为、字节跳动等国内企业得论文作者。平均得分为8分的论文。
ICLR,全称为International Conference on Learning Representations(国际学习表征会议),2013年由深度学习三座大山中的Yoshua Bengio和Yann LeCun牵头创办。
众所周知,Yoshua Bengio主管着蒙特利尔大学人工智能实验室,也就是MILA,它是世界上最大的人工智能研究中心之一。Yann LeCun是Facebook人工智能研究院的院长,被称为卷积神经网络之父。虽然ICLR成立仅六年,但它已被学术研究者们广泛认可,被认为是“深度学习的顶级会议”。ICLR采用Open Review评审制度。
根据规定,所有提交的论文都会公开姓名等信息,并且接受所有同行的评价及提问(open peer review),任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。
ICLR 2020的审稿早前受到了诸多吐槽与争议。
比如,南大周志华教授曝出:ICLR 2020竟然有47%的审稿人从来没有在本领域发表过论文;再比如,一篇ICLR 2020的论文在拿到完美的满分评价后,其他的两位审稿人又连续给了2个1分评价,还有的论文三位审稿人均给出了6-6-6的高分,但AC却做出了不适用自己论文的评语,这些都引发了激烈的讨论。放榜之后总是有人欢喜有人忧。总之,恭喜入选的同学!你的论文有入选吗?欢迎给我们留言!