在过去的五年中，NeurIPS 论文投稿数量增加了四倍。今年，我们共收到了 6743 篇投稿，经过筛选最终有效投稿降为 6614 篇，有 4500 多个评审人撰写了超过 20000 篇评审意见。今年 NeurIPS 的录取率为 21.6%，共录取了 1428 篇论文。鉴于论文数量的急剧增长，我们决定看看，从这些数据中能得出什么结论。
这篇文章的目的不是对新的审稿体系提出建议，而是为了告知和促进大家对于此话题的讨论。
NeurIPS 2019 共收到 15920 位作者提交的论文。有四分之三的作者并不在会议委员会的邀请名单上，无论是评审员、ACs 还是 SACs。余下的四分之一作者，略超过 70% 的人接受了我们的邀请加入了评审委员会，这是一个好兆头。此外，大多数评审者也提交了论文，这也是一个好兆头。
那么，NeurIPS 有搭便车的问题吗？这并不是很重要。如上表所示，只有约四分之一的人没有接受对 NeurIPS2019 年论文审稿的邀请。然而，他们中大约有 10% 的作者提交了 5 篇或者更多的论文。共有 769 篇论文（在 6,743 篇论文中），至少有一位作者受邀担任委员会成员，但没有任何受邀的作者参与审稿过程。
现在，让我们仔细看一看那些不在委员会邀请名单上的作者（四分之三）。这些作者中大约有 40% 的作者没有与邀请名单上的任何人共同撰写过一篇论文，而这一类别的论文录取率（占所有投稿的近 30%）是最低的，只有十分之一左右。
正如预期的那样，受邀担任更高职务的学者提交了更多论文，并且平均接受率更高。下表给出了 ACs 的统计数据。SACs 的人数略高——每个 SAC 提交了 5.24 篇论文，接收率为 34.78%。来自学术界的审稿者与 ACs 的比例约为 70%。
共有 85 位作者提交了至少 10 篇文章，其中只有 6 人是女性（7%）。我们初步估计的提交论文的女性作者的总体比例为 13%，几乎是多篇论文提交者的两倍。提交多篇论文作者的平均接收率为 24.7%，略高于所有提交者 21.6% 的平均接收率。
最后，与 2018 年相比各主题领域的录取率情况见下图。该图按照每个领域的提交数量进行排序（有关按地区提交的图，请参见下文）。对于我们所看到的前四个主题领域和后四个主题领域之间（统计上显著的）接收率的差异，可解释的是提交最多主题领域的论文，也会存在更大比例的低质量论文，这并不奇怪。
关于如何改变 NeurIPS 的审稿机制，以更好地应对不断增长的论文提交数量的讨论很多。让我们看看，利用 NeurIPS 2019 年的数据来预估这些提议的后果。
作为一项实验，我们想要衡量 AC 的能力，以便在看到评审意见之前就能预估其指定的论文将会被拒收（例如，论文的新颖性不足或学术水平不足）。问题是 NeurIPS 是否应考虑允许 AC 拒绝未经审阅的投稿，以减轻审稿者的负担——这种编辑筛选机制是顶级期刊的常见做法。
另一个常见的提议是限制作者可以提交的论文数量。AAAI 会议甚至提出了 2020 年每位作者最多可提交 15 篇论文（从他们论文征集要求可见）。
另一个建议是使用市场体系来控制评审，仅接收那些引起审稿人足够兴趣的投稿。
大多数提交论文（54%）都会发布在 arXiv 上；其中 21% 的提交论文至少被一名审稿人看到。后一类的录取率为 34%，明显高于 21.6% 的平均录取率。相比之下，未公布论文的接收率为 17%。
客观衡量评审质量好坏的标准是什么？有人提议，论文中是否引用了指定审阅者的论文。那么，NeurIPS 2019 年提交的论文中，至少有一位被引用的审稿人的比例是多少呢？
我们当然希望看到更高的数字，但 40.6% 的投稿人至少有一次评级为 5 的分数，94.7% 的投稿人至少有一次可信度评级为 4 的评论。
为了改进工作分配，我们与 CMT 进行合作，允许 ACs 招募外部审稿人处理他们正在审的特定论文。如果 AC 在常规资源库中找不到合适的人选，他们可以向外部审阅者发送特定论文的邀请。超过 40% 的 ACs 使用了该功能，发送了近 400 个邀请（其中近 80% 被接受）。
作为撰写反驳的作者，您可能想知道论文的初始评分以及论文被接受的概率。你的反驳改变结果的可能性有多大？
尽管数据对很多问题仍然没有给出答案，但我们注意到以下几点问题：
1. NeurIPS 没有搭免费车的问题：没有受邀参与审稿的作者，提交的论文相对也较少。
2. 文中的数据图表并没有表明，在审稿人全面评审论文前应如何快速地去过滤一些质量不高的论文，ACs 的作用就是前期去筛选一些论文，根据他们的淘汰方法，在没有重大决策错误发生的情况下，对审稿人的工作量没有很大的影响。同时，也没有一个很强烈的信号表明，审稿人对特定的论文表示出强烈的渴望去评审。
3. 没有明确的证据表明，以审稿意见的长度来判定 NeurIPS 评审质量的高低：在评审长度方面，NeurIPS 与其他规模较小的会议没有太大的不同。
4. 反驳、讨论期参与的影响：总体参与度似乎高于 2018 年。