本周《自然》发表的一篇论文报道，一款新版的AlphaGo计算机程序能够从空白状态起，在不需要任何人类输入的条件下，迅速自学围棋。这款新程序名叫AlphaGo Zero，以100比0的战绩打败了它的前任（在2016年3月的锦标赛中，其前任打败了围棋冠军Lee Sedol）。
人工智能的最大挑战是研发一种能从零开始、以超人类的水平学习复杂概念的算法。
为了打败人类围棋世界冠军，科学家在训练上一款AlphaGo时，同时用到了监督式学习（基于上百万种人类专业选手的下棋步骤）和基于自我对弈的强化学习。那款AlphaGo的训练过程长达几个月，用到多台机器和48个TPU（神经网络训练所需的专业芯片）。
本文中，英国DeepMind的David Silver, Julian Schrittwieser, Karen Simonyan, Demis Hassabis和同事介绍了AlphaGo Zero，它的学习从零开始，且单纯基于与自己的对弈。人类的输入仅限于棋盘和棋子，没有任何人类数据。
AlphaGo Zero仅用到一张神经网络，这张网络经过训练，专门预测程序自身的棋步和棋局的赢家，在每次自我对弈中进步。新程序只使用一台机器和4个TPU。
通过几天的训练——包括近500万局自我对弈——AlphaGo Zero便能够超越人类并打败所有之前的AlphaGo版本。随着程序训练的进行，它独立发现了人类用几千年才总结出来的围棋规则，还建立了新的战略，为这个古老的游戏带来新见解。
人工智能棋手AlphaGo先后战胜了两位顶尖围棋高手李世乭和柯洁。在这场猛烈风暴席卷了世界后，AlphaGo宣布不再和人下棋。但它的创造者并没有因此停下脚步，AlphaGo还在成长，今天Deepmind又在《自然》期刊上发表了关于AlphaGo的新论文。
这篇论文中的AlphaGo是全新的，它不是战胜柯洁的那个最强的Master，但却是孪生兄弟。它的名字叫AlphaGo Zero。
和以前的AlphaGo相比，它从零开始学习，不需要任何人类的经验，使用更少的算力得到了更好的结果，发现了新的围棋定式，将策略网络和值网络合并，使用了深度残差网络。AlphaGo Zero最大的突破是实现了白板理论（Tabula rasa）。白板理论是哲学上的一个著名观点，认为婴儿生下来是白板一块，通过不断训练、成长获得知识和智力。
作为AI领域的先驱，图灵使用了这个想法。在提出了著名的“图灵测试”的论文中，他从婴儿是一块白板出发，认为只要能用机器制造一个类似小孩的AI，然后加以训练，就能得到一个近似成人智力，甚至超越人类智力的AI。现代科学了解到的事实并不是这样，婴儿生下来就有先天的一些能力，他们偏爱高热量的食物，饿了就会哭闹希望得到注意。这是生物体在亿万年的演化中学来的。
计算机则完全不同，它没有亿万年的演化，因此也没有这些先天的知识，是真正的“白板一块”。监督学习（Supervised Learning）和无监督学习（Unsupervised Learning）是镜子的两面，两者都想解决同一个问题——如何让机器从零开始获得智能？监督学习认为人要把自己的经验教给机器。而无监督学习认为机器要去自己摸索，自己发现规律。
人的经验或许能帮助机器掌握智能，但或许人的经验是有缺陷的，不如让机器自己发现新的，更好的规律。人的经验就放一边吧。
就像这篇新论文中讲述的那样。AlphaGo Zero是无监督学习的产物，而它的双胞胎兄弟Master则用了监督学习的方法。在训练了72小时后AlphaGo Zero就能打败战胜李世乭的AlphaGo Lee，相比较AlphaGo Lee训练了几个月。
而40天后，它能以89:11的成绩，将战胜了所有人类高手的Master甩在后面。AlphaGo Zero从0开始的学习曲线,这个版本的神经网络由40个模块组成。
AlphaGo Zero证明了，一个白板AI能够被训练成超越人类的围棋高手。强化学习（Reinforcement Learning）是一种模仿人类学习方式的模型，它的基本方法是：要是机器得到了好的结果就能得到奖励，要是得到差的结果就得到惩罚。AlphaGo Zero并没有像之前的兄弟姐妹一样被教育了人类的围棋知识。它只是和不同版本的自己下棋，然后用胜者的思路来训练新的版本，如此不断重复。
通过这一方法，AlphaGo Zero完全自己摸索出了开局、收官、定式等以前人类已知的围棋知识，也摸索出了新的定势。如何高效合理得利用计算资源？这是算法要解决的一个重要问题。AlphaGo Lee使用了48个TPU，更早版本的AlphaGo Fan（打败了樊麾的版本）使用了176个GPU，而Master和AlphaGo Zero仅仅用了4个TPU，也就是说一台电脑足够！
AlphaGo Zero在72小时内就能超越AlphaGo Lee也表明，优秀的算法不仅仅能降低能耗，也能极大提高效率。另外这也说明，围棋问题的复杂度并不需要动用大规模的计算能力，那是只浪费。AlphaGo Zero的算法有两处核心优化：将策略网络（计算下子的概率）和值网络（计算胜率）这两个神经网络结合，其实在第一篇AlphaGo的论文中，这两种网络已经使用了类似的架构。
另外，引入了深度残差网络（Deep Residual Network），比起之前的多层神经网络效果更好。
这不是Deepmind第一次在《自然》上发论文，他们还在Nature上发表过《利用深度神经网络和搜索树成为围棋大师》和《使用深度强化学习达到人类游戏玩家水平》以及《使用神经网络和动态外存的混合计算模型》三篇论文，Deepmind在Nature Neuroscience上也发过多篇论文。
我们可以从中一窥Deepmind的思路，他们寻找人类还没有理解原理的游戏，游戏比起现实世界的问题要简单很多。然后他们选择了一条道路是优化算法，另外一条道路是让机器不受人类先入为主经验的影响。这两条路交汇的终点，是那个真正能够超越人的AI。
这是AlphaGo的终曲，也是一个全新的开始，相关技术将被用于造福人类，帮助科学家认识蛋白质折叠，制造出治疗疑难杂症的药物，开发新材料，以制造以出更好的产品。
点击下方视频，听听论文第一作者/通讯作者David Silver谈这篇论文视频由DeepMind提供，中英文字幕由Nature上海办公室制作。本文经微信公众号“Nature自然科研”授权转发。点击“阅读原文”阅读论文Mastering the game of Go without human knowledge阅读原文。