DeepMind发布了基于Transformer的新模型AlphaCode，该模型实现了大规模代码生成。现在，AlphaCode在《Science》上发表了新论文，研究登上《Science》封面。
代码生成一直是一项重要挑战。AlphaCode论文通讯作者、DeepMind首席科学家Oriol Vinyals用一张图生动描述了智能与编程之间的关系，说明AI模型完成编程竞赛问题是非常困难的，而AlphaCode做到了。
具体而言，研究者将AlphaCode放在Codeforces挑战中进行了测试，Codeforces是全球知名的编程竞赛平台，类似于国际象棋中使用的Elo评级系统，聚集全世界顶尖编程者。Codeforces每周会分享编程挑战和问题排名。
不同于编程人员在打造商业应用程序时可能面临的任务，Codeforces的挑战更加独立，需要对计算机科学中的算法和理论概念有更广泛的了解，一般是结合逻辑、数学和编码专业知识的非常专业的难题。
AlphaCode针对Codeforces网站上5000名用户解决的10项挑战进行了测试，总体排名位于前54.3%，也就是说它击败了46%的参赛者。
我们来看一个AlphaCode生成代码的具体例子：在测试AlphaCode的一项挑战中，试题要求参赛者找到一种方法，使用一组有限的输入将一个随机、重复的s和t字母字符串转换为另一个相同字母的字符串。例如，竞争对手不能只输入新字母，而必须使用「backspace」命令删除原始字符串中的几个字母。对于AlphaCode来说，这只是中等难度的挑战。
Codeforces创始人Mike Mirzayanov表示：「我可以肯定地说AlphaCode的结果超出了我的预期。对此，有人怀疑我这么乐观，因为他们认为即使在简单的竞赛问题中，参赛选手不仅需要编写常规算法，还需要创新新算法，而这一部分是最困难的。但目前看来，AlphaCode的表现与一个前途无限的人类参赛者相当，我迫不及待地想看看未来会发生什么！」
想要AI在编程比赛中脱颖而出并不容易，DeepMind通过将大规模transformer以及采样、过滤相结合，AlphaCode在解决问题数量上取得了重大进展。DeepMind在选定的公共GitHub代码上预训练模型，并在相对较小的编程数据集上对其进行微调。在评估期间，研究者为每个问题创建了大量的C++和Python程序，且数量级比以前的工作大几个数量级。
然后对这些解决方案进行筛选、聚类和重新排序，将这些解决方案分配到一个由10个候选程序组成的小集合中，并提交给外部评估。这个自动化系统取代了竞争对手的调试、编译、通过测试和最终提交的反复试验过程。
在Codeforces的允许下，DeepMind通过模拟参与10场比赛来评估AlphaCode。参赛者仅凭复制以前的解决方案等捷径来参加比赛是不可能取得好成绩的，相反，模型必须创造出新颖有趣的解决方案。此外，该研究还在CodeContests测试集上检验了问题解决率和样本量的关系，结果如下图所示。
来自谷歌的世界级竞赛程序员Petr Mitrichev表示：「解决竞争性编程问题是一件非常困难的事情，需要良好的编码技能和人类解决问题的创造力。AlphaCode在这一领域取得的进展给我留下了深刻的印象，很高兴看到AlphaCode使用语言理解能力来生成代码并进行随机探索以创建新的解决方案。」
DeepMind表示将继续这一探索，研发更智能的AI模型，这仅仅是一个开始。