近日，机器学习顶会ICLR 2021投稿已经结束，最后共有3013篇论文提交。ICLR采用公开评审（openreview）机制，任何人都可以提前看到这些论文。本文整理了来自ICLR 2021投稿概览以及一些高赞论文，其中有一篇将Transformer应用于图像识别的论文引起了NLP/CV模型跨界融合的热议。
据Criteo AI Lab机器学习研究科学家Sergey Ivanov消息，本次ICLR 2021一共有3013篇论文提交，其中有856篇论文是来自NeurIPS 2020 Rejection之后重新提交的。相比之下，ICLR 2021有557篇论文发在arXiv上，占所有提交论文的25％。
在这次ICLR 2021的投稿中，有一篇将Transformer应用于图像识别的论文在Twitter和知乎上都引起了广泛关注以及热议。该论文证明这种对CNN的依赖是不必要的，当直接应用于图像块序列时，只用到Transformer也可以很好地执行图像分类任务。
在推特上，斯坦福大学CS博士、特斯拉AI总监Andrej Karpathy转发了该论文，并表示乐意见到计算机视觉和NLP领域更高效/灵活的体系结构的日益融合。港中文助理教授周博磊整理了一份自己关注论文的笔记，有GAN、强化学习、计算机视觉三个领域相关共30多篇论文。
更多论文包括《An Attention Free Transformer》、《A Good Image Generator Is What You Need for High-Resolution Video Synthesis》、《Contrastive Learning with Stronger Augmentations》、《Score-Based Generative Modeling through Stochastic Differential Equations》等。