最近，在核科学领域有一个大新闻。就连取得这项成就的科学家自己，都觉得不可思议——amazing呀！“这个时刻我等了好久啦——第一次在核聚变研究上演示深度强化学习！”来自DeepMind的科学家David Pfau激动的分享了自己的论文 | 机器之心。不知道多少朋友看过复仇者联盟——里面的钢铁侠，他之所以这么牛，主要还是他铠甲正中央有一个“小太阳”，在给他源源不断的提供大量能量。
这个小太阳不是别的，正是今天要谈的主人公——之一——可控核聚变。虽然不知道漫威宇宙里钢铁侠这个可控核聚变是怎么实现的，但是目前为止，在人类世界，它还依旧只是一个梦想。
什么是可控核聚变？正如分子间进行放热的化学反应可以产生能量，原子核（或中子）之间进行的放热核反应也可以产生能量，而且这个能量要远远大于化学反应产生的能量。
在目前的可控核聚变的方案中，人们采用的是氘氚反应：核聚变反应原理图（Deuterium氘与Tritium氚反应，产生Neutron中子与Helium氦，并释放能量） | 文献[2]。在氘核和氚核的聚变反应中，会释放大量的能量，但是想让氘核和氚核碰撞在一起却并不是一件容易的事。
科学家们采用了一个大力出奇迹的办法，一次性解决了两个问题——那就是加温加压。
加温首先能让原子中的电子和原子核分离，形成等离子体，这一方面解决了第一个问题，同时也提升了原子核的动能，也就是乒乓球的速度；而加压就是减小原子核之间的间距，也就是缩小了“足球场”的大小。这样就能大大提升原子核相撞的概率。
那么要加热到什么程度呢，我们以太阳为参考，太阳的中心温度是1500万摄氏度，压强达到3000亿倍大气压，这样的压强我们是很难实现了，于是我们只能用更高的温度，我国的EAST（全超导托卡马克核聚变实验装置）的运行温度就高达一亿度。
实现可控核聚变的好处多多，一方面原材料丰富：每一公升海水中提取出来的氘参与聚变反应所释放的能量与300公升汽油释放的能量相当；氚则可以通过锂原子裂变产生，而锂在地壳和海水中都大量存在。可以说，一旦实现了可控核聚变，人类就很大程度上实现了“能源自由“。另一方面产物污染小，目前可控核聚变的首选方案是氘氚反应，它的产物只有中子和氦-4的原子核以及大量能量，不会产生有害气体，也几乎没有放射性污染。
然而，想要上手这种取之不尽又清洁环保的能源，并非易事。温度和压强足够高是可控核聚变的必要条件，根据之前的分析，温度和压强的提高可以增加原子核相互碰撞的概率；可光有概率不够，我们还必须让这样的温度和压强持续足够长的时间，这样就能增加一次实验中聚变反应发生的数目，从而提高产生的总能量。这个时间我们称为能量约束时间，它与压强、温度一起，共同构成了评估一次可控核聚变的三要素。
AI：是时候改变世界了——于是，DeepMind，一个挑战了从蛋白质折叠到星际争霸问题的明星企业，携手瑞士洛桑联邦理工学院等离子体中心，一起开启了托卡马克的驯服之旅。强化学习：这题我会。第一步，制定目标。学习什么的，当然是目标最重要啦。目标可以包含各种各样期望的特征，包括但不限于等离子体位置、电流的基本稳定、具有指定延伸率和X点位置等的精确形状轮廓等等（如下表所示）。
这些目标将组合成一个“奖励函数”（Reward Function）,专门惩罚那些达不到目标的控制策略（就像学校的校规校纪）。尽管罗列了十多项特征，但奖励函数的设计确实已经是最小限度了，这样可以保证强化学习的算法具有最大的灵活性。
第二步，确定策略。用模拟器产生等离子体状态演化的相关数据，让强化学习算法收集这些数据，不断地学习和积攒经验，然后在奖励函数的引导下寻找到“最优控制策略”。
（其实这里还有一个精心设计的“批评家”算法，专门用于训练，详细请见文献[1]。）第三步，实战演练。如图所示，托卡马克的“实时控制系统”（Real-time control system）包含了两部分——一个是传统的控制器，另一个就是深度学习训练得到的控制系统。
每次实验时，待产生一个标准等离子体后，首先出场的是传统控制器，它的作用是保持等离子体的位置与总电流；当等离子体稳定后，就轮到深度学习的控制系统出场——它将通过每秒一万次、每次92种测量数据来精确跟踪等离子体，并根据之前学习的策略相应地调整反应堆的19个控制线圈，最终得到我们需要的等离子体形状和电流。
这在传统控制器时代是无法想象的。
如果说“等离子体构型控制”是一门课程，那么人工智能显然是这门课程中的天才学生！因为最复杂的系统之一——托卡马克磁控问题，等离子体控制器的设计一直都是一道难题。不得不说，人工智能的这次了不起的尝试为等离子体控制器设计带来了新的希望和方向。这毫无疑问将加速托卡马克磁控以及核聚变科学的发展。这也是继下棋（Alpha go）、游戏（星际争霸）以来，人工智能第一次在如此重要的领域大显身手。
我们在成长的同时，人工智能也在成长，下一次，它又会在何处带给我们惊喜呢？让我们拭目以待！