首次以线上形式的第37届国际机器学习会议将于7月12日到7月18日召开,早在一个月前,ICML官方就已经放出了论文统计结果。据官方统计,ICML 2020共提交4990篇论文,投稿数量再创新高,而最终接收论文1088篇,接收率21.8%。与往年相比,接收率逐年走低。而在严格的评审和筛选下中国及华人的表现仍然亮眼。接下来让我们看看截至目前引用量较高的本次ICML会议论文以及中国机构和华人的表现吧。
Aminer开发的ICML 2020顶会系统给出了本届会议引用量排名靠前的论文。可以看到,在引用量排名靠前的论文中,华人的表现相当活跃,如引用量排名第二的论文“A Simple Framework for Contrastive Learning of Visual Representations”的第一作者为Chen Tin。排名前十的文章中有6篇都为华人作者,其余文章中也能看到华人参与的身影。
引用第一的论文为:“Data-Efficient Image Recognition with Contrastive Predictive Coding”作者为来自DeepMind的Olivier Henaff等人。人类观察者可以从一大堆的例子中学习识别新的图像类别,然而用机器感知来识别这些图像仍然是一个开放的过程挑战。本文假设数据有效的识别是通过使自然信号的可变性更可预测的表示来实现的。
因此,作者重新审视并改进对比预测编码,这是一个学习这种表示的无监督目标。这种新的实现产生的特性支持在ImageNet数据集上实现最先进的线性分类精度。当使用深度神经网络作为非线性分类的输入时,这种表示允许人们使用比直接在图像像素上训练的分类器少2-5个标签。最后,这种无监督的表示大大改进了PASCAL VOC-2007上从转移学习到目标检测的能力,超过了完全监督的预训练ImageNet分类器。
引用第二的论文为:“A Simple Framework for Contrastive Learning of Visual Representations”作者为Chen Ting、Kornblith Simon、Norouzi Mohammad、Hinton Geoffrey,值得一提的是来自谷歌大脑的Chen Ting作为本论文的华人一作。
本文提出了一个简单的视觉表征对比学习框架SimCLR。作者简化了最近提出的对比自监督学习算法,而不需要专门的架构或内存库。为了了解是什么使得对比预测任务能够学习有用的表征,作者系统地研究了框架的主要组成部分。
发现:(1)数据扩充的组合对定义有效的预测任务起着至关重要的作用,(2)在表示和对比损失之间引入一种可学习的非线性变换,大大提高了学习表征的质量,(3)与监督学习相比,对比学习具有更大的批量和更多的训练步骤。通过结合这些发现,人们能够在ImageNet上大大优于以前的自监督和半监督学习方法。
利用SimCLR学习的自监督表示训练的线性分类器达到了76.5%的top-1准确率,这比先前的最新技术提高了7%,与有监督ResNet-50的性能相当。当仅对1%的标签进行微调时,本文的前5名准确率达到85.8%,比AlexNet少100倍。在接收的1088篇论文中,中国总共占了103篇,接近10%。
大学的投稿领先业界,清华大学、北京大学、上海交通大学占据前三,而机构投稿最多的为华为,百度,阿里巴巴。在论文数量排名前50的作者中,华人也表现亮眼:投稿数量排名前50中华人占据了14位,华人投稿接收数量最高的论文数为7篇,排在了第5,6位。在ICML上发表论文是很困难的,因此能够一次性发表多篇论文的作者会让人印象深刻,那让我们看看发表了5篇以上的华人作者都有哪些吧。
发表了7篇论文的作者分别为西北大学的Zhaoran Wang与斯坦福大学的Percy Liang,他们现在都是助理教授职位,值得一提的是Percy Liang也是ICML2017最佳论文奖的得主。发表了6篇论文的华人作者为普林斯顿大学的Chi Jin和普林斯顿大学Zhuoran Yang。Chi Jin为助理教授,而Zhuoran Yang是唯一一位发表5篇论文以上的博士生。
想了解关于ICML 2020更多的动态,会议论文下载、解读、精读与华人作者信息,就来AMiner ICML 2020看看吧!