导语深度学习技术，尤其是生成模型在图像问题处理上大放异彩。而生成模型之所以展现出强大的多层信号处理能力，与物理学中的重整化群理论密切相关。研究者结合重整化群方法和流模型，开发出可以发现自然作用力的AI“物理学家”，以及具有高可解释性与可控性的计算机视觉生成模型。
相关研究发表在Physical Review Research、Physical Review Letters等期刊上，本文是对该研究方向的介绍。
第零部分
序随着深度学习的发展，我们已经感受到了机器学习在计算机视觉、自然语言处理、强化学习等诸多领域取得了令人赞叹的进展，这些先进的技术也在随着时间的推移进入人类的生活，帮助人类优化其生产力。
作为一个新兴的学科与技术，深度学习也在科学研究上崭露头角。一方面，大家把深度学习、神经网络作为一个独立的客体，试图理解它的行为，并借助人类已知的一些概念设计更有趣的神经网络；另一方面，神经网络也作为一个新型的工具帮助科学家通过更快的模拟量子物理、量子化学，挖掘生物信息等等来理解自然世界。
第一部分
基于流模型的生成模型在深度学习中一类重要的问题叫做生成模型（generative model）。
比如我们拥有如下图的人脸数据集，我们如何生成更多类似的人脸数据并且让生成的数据看起来和真的一样呢？生成模型想解决的就是这个问题，比如图1中有很多人像照片，他们是由真实人类通过照相摄影产生的。那么图2中也有四张人像照片，你是不是很难分辨这四个人哪个是真实的人类，而哪个是机器产生的“假人类”呢？实际上这四张图片都是由作者在撰写此稿的时候机器想象出来的假人，不知道你答对了嘛？
生成模型具体实现的方式有很多，比如生成对抗网络（generative adversarial networks）、变分自动编码器（variational autoencoder）、流模型（flow-based model）等等。本文将主要关注在流模型上（具体说是连续空间的流模型，即的取值范围是实数域）。
简单来说，流模型就是通过一系列的可逆变换把一张容易得到的白噪声图片变换成一个我们想要的图片的工具。通过对像素的变换可以把一张白噪声图片转换成一张小女孩的照片。更形象一些，我们可以把流模型想象成一双神奇的艺术家之手，经过这双神奇的手我们可以把散漫无序的沙堆砌成我们想要的艺术品，那么如何找到这样一双神奇之手呢？我们将采取神经网络来对它建模。
从数学上去理解生成模型在做什么，我们可以认为这些真实的人脸数据都是从某一个我们并不知道的概率密度分布中采样出来的，其中就是每一张图片。这样看来，让一个机器去生成更多长得像“真人”一样的图片，从数学上就变成了让机器产生一个变分概率去拟合真实的人脸分布。如果机器可以拟合得足够好，那么我们就可以从产生更多的图片，他们也会很像真实的人脸。
为了更好地理解流模型，我们先来看一个简单的例子。
假设我们有一个红色的双峰概率密度分布p(x)，我们如何从这个分布里面去进行采样呢？假设我们可以从高斯分布中做直接的采样，即我们可以从蓝色的p(z)分布进行对的直接采样，那么我们可以找到一个可逆的双射（bijective map），x=G(z)，把每一个z映射到x。我们可以看到这个映射G在中间导数很大，两边导数很小，这样就可以在映射之后中间的部分采样稀疏，而两边的地方采样密集。
这样我们就可以对高斯分布进行直接采样，然后把得到的z按照双射变换为x，从而实现对x的直接采样。数学上这样两个分布有如下的联系：其中被称作雅克比行列式。如此看来，我们想去对一个复杂的概率密度分布采样，如果可以找到这样一个双射，把这个复杂的分布变成简单的分布，比如高斯分布，我们便能对复杂的分布进行直接采样。
那么我们要如何去寻找这样一个双射呢？
一个想法是我们去构造一个变分假设，其中θ泛指变分假设中所有的参数。通过这个变分假设的双射，我们可以把简单的分布变换成现在我们想去对变分参数θ进行优化，使得尽可能的逼近目标概率密度分布。对于两个概率密度分布的“距离”，其中一个常用的指标是KL散度（Kullback-Leibler divergence），它的定义是KL散度可以证明是一个大于等于0的量，当两个概率密度完全一致的时候，KL散度为0。
所以通常我们可以去优化减小变分分布和目标分布的KL散度，使得他们更加相近。
那么我们要如何去构造一个足够一般的双射变换作为变分假设使得它可以尽可能去拟合任意的可逆变换（双射）呢？根据深度学习的思想，我们可以构造一些相对简单的双射Gi，然后把他们串联起来，从而形成一个相对复杂的变分假设。这样的想法就和搭建乐高积木一样，我们希望构造一些乐高积木的基本单元，然后通过迭代让他们涌现出复杂的行为。
这点和凝聚态物理中简单的粒子通过相互作用来涌现复杂的行为也有异曲同工之妙。在机器学习的研究中，人们提出了一些基本的可逆变换，被大家广泛使用，比如Real NVP、invertible convolution、invertible resnet等等。如何构造表达能力强且简单的可逆变换，也是生成型模型研究的一个重点。
第二部分
重整化群流模型与全息原理
为了更好地理解生成型模型和物理学的关系，先让我们来看一看（量子）场论是如何与计算机科学中的图片集构建联系的。物理学中的场是对时空的连续性描述，可以把它看做是时空到某一个流形（manifold）的映射。通俗一点讲，我们可以举一个例子。
如图所示，我们可以把一个二维时空的标量场（scalar field）看做是一张灰度图，即每一个像素点被映射到一个标量上；而二维时空的矢量场可以被类比为一张RGB彩色图片，每个像素有一个RGB矢量来表示颜色。这样我们就可以把物理中场论中场的各种构型看成一张张不同的图片。
场论给每一个场的构型设定了一个概率或者negative log-likelihood。那么有的场的构型出现的概率较大，有的场构型出现的概率较小。这就类似于人脸图片集中人脸出现的概率就比白噪声出现的次数要多得多。如此看来，大自然本身就是一个生成模型，它无时无刻不在为我们生成和展现它自己美丽的图片。而从这个角度来看，人工智能中的生成型模型也是对场论的一种很自然的描述。
所以我们自然会想知道如何可以构建一个人工智能的生成模型来描述场论，描述自然。当我们给这个AI一个场论的描述（action）之后，它是不是能学习出物理，然后像大自然一样为我们生成符合这个场论描述的场构型呢？
大自然中的信号是分尺度的。在每个尺度都涌现出了不同的有效理论，就如这个蛇形图案给我们展现一样。在微观尺度我们具有量子力学、粒子物理学。如果我们把观察的尺度再放大一些，我们就会有化学、生物学等等。
凝聚态物理学大师P. W. Anderson先生在70年代撰写过一篇名为“more is different”的文章。文中向大家阐述了随着体系中客体数量的增加，由于多个客体间的相互作用，整体可能涌现出复杂的行为，并且这些行为是单个客体所不具备的。这也是为什么不同尺度会涌现出不同的理论的一个原因。那么有没有一个理论可以作为桥梁来链接不同尺度的理论呢？在物理学中，这样的理论叫做重整化群。
简单来说，我们可以把重整化群的操作想象成对图片不断进行局部粗粒化的操作，从而我们对于体系的描述也从微观（UV）变得越来越宏观（IR），通过不断的抹去细节不重要的信息，我们得到的是对体系更加重要的宏观信息。这个过程也可以用图的卡通来进行展示。当然，对于传统的物理体系，局部粗粒化的规则是物理学家通过对物理体系的分析和人类的智慧来定义的。
自然我们也会想到，如果生成型模型AI是大自然的一个假设，那么它能不能也自己定义局部粗粒化的规则，来分析出体系中哪些信号是局部的，而哪些信号是宏观的呢？通过对这些问题的思考，我们一同提出了重整化群的流模型和重整化群的信息学理论。
首先，我们看到了在传统意义重整化群粗粒化的过程下，局部信息是被丢弃掉了。这样具有局部信息损失而造成了传统意义下的重整化群操作是不可逆的。所以我们扩展了重整化群的操作，与其在局部粗粒化的过程中抹去不重要的细节信息，我们可以不去丢掉它，而是把它留下来放到一个“容器”中存着它。这样如果我们想从大尺度的图片出发，反向还原细节图片的话我们就可以再一次把“容器”中留下的这些信息片段补回去。
我们设计了具有多层级局部操作的神经网络。但是如何保证这些局部操作完成的是重整化群操作呢？为此我们在文章中也讨论了重整化群的信息学理论，可以简单地理解为机器需要把局部操作中丢到“容器”中保存下来不重要的东西尽可能像白噪声。通过这样的信息学指导和具有多层级局部操作的神经网络结构，我们的“人工物理学家”已经搭建完备了！
为了检测它是不是具有分析物理体系性质，和生成物理体系构型的能力，我们拿物理中complex phi-4场论来对它进行了测试。
它在一定极限下的简易模型可以理解为在一个二维网格上每个节点放置一个小磁针。小磁针在一定温度下由于热涨落希望在格点上随意转圈。而小磁针之间也会有相互作用力，它们喜欢一致，而不喜欢“异类”。也就是说它们都指向同一个方向会让他们能量更低，更舒服。
这样一个简单的体系具有丰富的物理内容，人们发现在一定温度的时候体系会发生一个相变。在低温的时候小磁针都会彼此顺着对方进行整体的旋转，而在高温的时候他们就会完全无序的各自随意旋转。这个相变也是2016年诺贝尔物理学奖的重要工作之一。
现在我们给了机器对于这个体系最为精简的描述，即能量函数，它是不是能发现这些有趣的物理呢？
我们发现对于不同的温度，这个AI确实可以发现这个体系具有两个行为不同的区间，更为准确地说是两个不同的相（phase）。如图所示，机器可以通过计算发现在低温的时候体系是在拉廷格液体相，而在高温的时候体系在无序相，更准确的机器可以计算出在不同区间关联函数行为的不同。这说明我们的构架的AI可以通过能量函数来学习到一些有趣的物理。
并且我们的AI在设计的时候就希望它能够自发地分析和区分大尺度低能的物理自由度和小尺度高能的物理自由度，我们也在实验中惊喜地发现在网络上端描述大尺度的地方，它找到了对于这个体系低能的goldstone mode。
那么构建一个这样的AI“物理学家”有什么用呢？首先，我们看到了它可以根据体系的最精简描述来发现体系不同的相，并且它能够区分出什么是局部细节信息和宏观的大尺度信息。而且作为一个生成型模型，它一旦学习完备，就可以像大自然一样很快地帮我们产生对于这个体系大量的图片（snapshot），帮助我们快速有效地数值模拟这个物理体系。
第三部分
重整化群流模型与计算机视觉
上面我们介绍了重整化群流模型在物理学中的一些应用，通过它来模拟物理体系、区分小尺度和大尺度的信号、解码全息宇宙等等。下面我们来看一看这个物理学家们研发的AI在其他任务上有没有什么应用价值呢？
大自然中的众多的信号都是具有多层级结构的，这就启发我们去探索应用同样的思想是不是能够构建一个神经网络来处理自然图片。就拿人脸图片举个例子，一张人脸的图片，在大尺度下能提供给我们的信息是这个人的性别、年龄、情感（比如是不是开心）等等，在中等尺度上的信息可能是眼睛大小、鼻梁高低、有没有发帘等等，在更细小的尺度上提供给我们的可能是脸上皱纹的纹理、胡须等等。这些都是蕴含在一张人脸图片中不同尺度上的信息。
人工智能在生成“虚拟”人脸、“虚拟”视频上已经做到了炉火纯青的地步，值得一提的是，上面五张人脸都是由机器自主生成的，我们很难看出来它和一个真正的人的照片的区别。但是仅仅是生成很漂亮的图片还没有到达真正的智能。为了更近一步，我们希望这个机器在生成一张人脸图片的时候，不仅可以做到比较漂亮，而且它也是知道自己生成的时候哪部分是大尺度信息，哪部分是细节信息。
秉承重整化群流这个技术的核心思想，我们设计了更为复杂的神经网络（RG-Flow）来在人脸图片集（CelebA）上进行训练。在训练完成后我们可以看到机器会从大尺度先勾画人脸的形状，然后不断添加细节信息，最终完成人脸的创作。为了更好地探究和理解机器是如何进行人脸生成的，我们借用视觉神经学和卷积神经网络中感知域的概念，定义了我们生成模型中“神经元”的感知域。
简单的理解就是这些神经元对哪些图片区域更加感兴趣。
通过我们的研究发现，其中很多神经元是不大活跃的，而其中活跃的神经元中可以看出非常有趣的事情。首先，越深层的神经元的感知域越大，越浅层的神经元的感知域越小。这是由我们重整化群想达到区分局域和全局信号的效果来保证的。而且这个和真正生物中的视觉中感知域的分布也是一致的。
在生物视觉前段的视网膜神经细胞感知域大多是简单的圆圈或者点，而后期的视觉皮层中视觉神经的细胞的感知域会变得更加复杂，来检测看到视觉信号的一些图案。
我们将会看到，这些对于特定区域反应强烈的“神经”，将会控制这个区域图片的生成。比如：假设一个“神经”的感知域是眼睛，那它大概率会控制生成时候眼睛的大小。于是我们选取了不同层次上感知域较为强烈的“神经元”，来探索他们在图像生成上究竟做了些什么。
为了研究单个“神经”在图像生成中的作用，分离出其他变量可能产生的影响，我们采取了在生成图像时把所有的其他变量都控制不变，而只改变要研究的“神经”，让它产生单独的大小变化。
如图所示，在宏观尺度上（或者是高层表示上），我们可以看到有“神经元”可以控制生成人像的性别，如果我们把它单独从小调大，那么对应的人脸会逐渐减小女性特征，增强男性特征。再比如宏观尺度上的情感，我们如果改变这个“神经”的大小，对应的人脸会由中性状态变为开心状态。类似的在宏观尺度上的因子还有：光照、头部旋转、发色、肤色。
我们之前说到重整化群流（RG-Flow）最重要的是可以区分不同层级上的因子。
所以在中等层级，我们也可以找到眼睛因子，它的改变对应于人脸眼睛的大小；发帘，它可以控制人像发帘的大小；眼眉，它可以控制眼眉的粗细；衣领，它可以控制是否存在白色衣领。在小尺度上，我们也可以类似地找到控制单个眼眉、单个眼睛的因子。由于重整化群这个物理思想对于人工智能的指导，让我们得以在训练神经网络的时候不仅可以生成我们想要的人像，并且它也不再是一个完全的黑盒，而是一个我们可以理解的生成人像的神经网络。
这些在不同层级上的控制因子可以让我们对生成的图片进行可控的调节。
类比于全息宇宙，我们可以想象这个神经网络把二维的人脸图片进行编码并放到了三维的空间上。图片不同尺度的信息被排列在了树状网络的纵深方向，这给了我们进行人像结合的一个新的维度。
假设我们提供两张人像图片，现在我们可以把她们俩进行合成，我们想要保持黑发女人像的大尺度信息，比如她的发色、性别、表情，但是我们想要合成的人像具有金发女的细节信息，就是五官。我们可以把两张图片都在树状网络的三维空间上进行编码，然后在纵深的维度进行组合。结合深度将会决定生成的新的人脸有多少金发女的五官信息。
有了更多的理论支撑，基于重整化群的视觉生成模型也给了我们更多理论可控的分析。比如当我们的人像图片产生局部的缺失需要复原的时候，我们的算法理论上可以在更短的时间（O(Log N)的复杂度）对图片进行修复。
相信在不久的将来，我们会看到更多人工智能与物理学，科学碰撞而产生的火花。