几十年来，计算机行业的发展一直依赖于硬件的改进。然而，随着微芯片日趋接近其物理极限，对软件进行优化越来越受到计算机科学家的重视。对于改进算法来说，人类的直觉和专业知识至关重要。但是，许多算法都已经达到了人类科学家无法进一步优化它们的阶段，这导致了计算瓶颈的不断加剧，其中就包括排序。
排序是计算机科学中的一个基本算法，它涉及到将许多的项按特定的顺序排列起来，比如按字母顺序排列字母，又比如按从大到小的顺序排列数字。排序算法能将一系列未排序的数字转变为已排序的数字。排序最早可以追溯到二世纪和三世纪，当时，学者们按照字母顺序，徒手为亚历山大图书馆书架上的数千本书排序。现如今，在世界各地的代码库中，有许多不同的排序技术和算法用于组织大量数据。它的应用无处不在，每一天都会被使用数万亿次。
在DeepMind团队介绍了一种新的人工智能系统——AlphaDev，它通过使用深度强化学习，发现了更快的排序算法。这些全新的算法超越了现有的、最优的、由人类科学家在数十年时间里磨炼出的算法。AlphaDev并没有对现有的算法进行改进，而是从零开始发现新的、更快的算法。
它的工作原理与AlphaZero类似，我们知道，AlphaZero是一款用于下国际象棋、围棋和将棋的人工智能系统，它通过强化学习方法，在棋盘游戏中击败了世界冠军。在AlphaZero的设计中，当它要走每一步时，都会考虑所有可能的走法，以及在每一步走法之后的可能走法，以此类推。它以一种分支的形式计算哪些走法最有可能以胜利结束。
在对AlphaDev的开发中，研究人员利用类似的思路，将排序转换为一种单人的“汇编游戏”。最终，AlphaDev发现了新的、更快的排序算法。对于较短的序列，AlphaDev的算法可以将速度提高70%。但对于超过25万个项的序列，累积节省的时间只能提高1.7%。研究人员的重点是改进较短序列（3-5个项）的排序算法。这样的算法非常重要，它们的广泛使用，经常作为更大的排序函数的一部分而被多次使用。
此外，AlphaDev不仅发现了更快的算法，还发现了新的方法。通过交换移动和复制步骤，AlphaDev跳过了一个步骤，以一种看起来像错误但实际上是捷径的方式连接那些要进行排序的项。这表明AlphaDev不仅有能力发现全新的解决方案，并且还能挑战我们思考如何改进计算机科学算法的方式。