神经网络正则变换

作者: 李烁辉、董陈潇、王磊、张林峰

来源: 中科院物理所

发布日期: 2020-05-09 10:37:14

中国科学院物理研究所的研究团队提出了一种新的神经网络正则变换方法,该方法利用神经网络实现灵活、可学习的正则变换,通过对于哈密顿函数或相空间数据的学习找到合适的变换,从而将问题映射为具有不同特征频率的近独立运动模式。这一方法在物理学和机器学习领域都有重要的应用,特别是在分子动力学和动力学控制问题中。

正则变换是物理、力学家和天文学家处理哈密顿体系的经典方法。通过找到合适的变量替换,正则变换可以简化、甚至是彻底求解哈密顿体系的动力学。例如,19世纪法国科学家夏尔·德劳奈发表了约1800页的解析推导,试图使用正则变换化简“日-地-月”的三体问题。虽然正则变换方法是哈密顿力学中的基本工具,但是它在更复杂的多体问题中的广泛应用受限于繁复的人工操作和解析计算。

利用正则变换与现代机器学习中的正则化流方法(Normalizing Flow)之间的密切联系,中国科学院物理研究所/北京凝聚态物理国家研究中心凝聚态理论与材料计算重点实验室的博士生李烁辉、董陈潇与王磊研究员和普林斯顿大学的张林峰博士合作提出了神经网络正则变换(Neural Canonical Transformation)方法。该方法利用神经网络实现灵活、可学习的正则变换。

通过对于哈密顿函数或相空间数据的学习找到合适的变换,从而将问题映射为具有不同特征频率的近独立运动模式。在机器学习领域,正则化流利用可逆的深层神经网络实现数据之间的变换。它在语音与图像合成等现实问题中有广泛的应用。本质上,正则化流使用变量替换的方法将真实数据复杂的概率分布映射成为简单的近似正则分布。物理学中的正则变换其实也是一种正则化流。

但与通常的机器学习应用不同,正则变换作用于包含坐标和动量的相空间。此外,为了保证变换前后的哈密顿方程的形式和物理意义,变换本身需要满足辛条件(Symplectic Condition)。构建满足这些哈密顿体系基本数学性质的神经网络是此项工作的关键点。神经网络正则变换的一个直接应用是提取多体问题中近独立的非线性模式。这有助于识别在分子动力学和动力学控制问题中起关键作用的低频集体模式。

例如,作者使用神经网络正则变换分析丙氨酸二肽的分子动力学模拟数据,从而提取出分子构像之间转换所对应的运动模式。作者还将神经网络正则变换应用于机器学习问题,实现了对于MNIST数据集的隐变量提取与概念压缩。此工作受到科技部(2016YFA0300603)和国家自然科学基金委(11774398)的资助。

相关研究成果发表于Phys. Rev. X,论文链接https://journals.aps.org/prx/abstract/10.1103/PhysRevX.10.021020开源的代码实现https://github.com/li012589/neuralCT

UUID: 7c33528e-25ed-4d32-bcba-26edc459ca12

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/中科院物理所公众号-pdf2txt/2020/中科院物理所_2020-05-09_进展 | 神经网络正则变换.txt

是否为广告: 否

处理费用: 0.0031 元