神经网络重正化群的研究进展

作者: 李烁辉, 王磊

来源: Physical Review Letters

发布日期: 2019-01-13

中科院物理所的研究团队提出了一种基于正则化流的多尺度神经网络架构,该架构将微观物理构型的概率分布映射到隐变量空间的近高斯分布,并可逆地生成物理构型。该研究结合了表示学习和重正化群理论,旨在揭示深层神经网络的工作原理,并将深度学习技术应用于物理问题的求解。

重正化群是物理学研究中的一个基本概念。它不仅是研究相变与临界现象以及强耦合问题的有力工具,更塑造了物理学家的世界观:物理学是关于不同尺度和能标下演生现象的有效理论。人们在深度学习的应用实践中观察到,深层神经网络具有逐层提取特征的能力。处于网络深层的神经元往往对应于抽象而独立的演生概念。如何充分理解并创造性地利用神经网络的这一特性,是深度学习的核心问题之一,称为表示学习。

开展表示学习和重正化群理论的交叉研究,一方面有助于揭示深层神经网络的工作原理,另一方面可将成功的深度学习技术应用于求解物理问题。最近,中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与材料计算重点实验室 T03 组的博士研究生李烁辉和副研究员王磊提出了一类基于正则化流的多尺度神经网络架构。这类网络将微观物理构型的概率分布映射到隐变量空间的近高斯分布。

相反的,由于网络的可逆性,也可以从高斯噪声出发直接生成可能的物理构型。作者从物理问题的裸作用量出发,利用变分原理端对端地训练网络。为了充分发挥表示学习的能力,他们进一步提出隐变量空间的哈密顿蒙特卡罗更新算法。这个神经网络的结构设计受到了量子多体物理研究中的多尺度纠缠重正化张量网络的启发。在数学上,神经网络重正化群相当于自适应地寻找降低变量之间互信息的非线性小波变换。

流向隐变量空间的正则化流有助于自动识别集体变量和有效理论,预计可以在统计物理、场论以及第一性原理分子动力学研究中发挥作用。此外,可逆的重正化流恰好契合重正化群理论的现代发展:保信息的全息重正化。因此,神经网络重正化群也为研究全息对偶原理提供了新途径。该工作于近期发表于 Physical Review Letters 杂志。此工作受到科技部和国家自然科学基金委的资助。

可参考王磊在美国物理学会编辑部“Physics Next: Machine Learning”会议上的报告和作者发布的开源程序实现进一步了解此工作。

UUID: fb342c2e-2bf0-4500-bf12-20d6b94e7c7a

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/中科院物理所公众号-pdf2txt/2019/中科院物理所_2019-01-13_进展 | 神经网络重正化群.txt

是否为广告: 否

处理费用: 0.0027 元