ChatGPT等大语言模型的出现进一步促进了人工智能(AI)技术的发展,这些生成式模型本质上是以概率和统计原理为基础的大规模概率神经网络。尽管这些模型具有非凡的能力,但训练这些模型是一项计算密集型任务。
随着传统CMOS技术发展放缓,经典的冯·诺依曼计算架构面临着严重的“内存墙”和“功耗墙”问题,而基于新兴的自旋轨道力矩驱动型磁性隧道结(SOT-MTJ)等非易失性存储技术,因其数据非易失性和高速高效特点,有望从硬件层面促进生成式AI技术的快速发展。
受限玻尔兹曼机(RBM)是实现生成式人工神经网络的经典算法之一。在RBM算法中,除了矩阵乘法之外,被称为吉布斯采样(Gibbs Sampling)的随机采样操作也同样至关重要,RBM必须精准地根据网络状态预定义的概率分布函数(PDF)进行随机采样和状态更新,它才能最终收敛到所需的理想状态——在优化任务中找到网络能量的最低值或在学习任务中精准复现测试数据的分布规律。
中国科学院物理研究所/北京凝聚态物理国家研究中心磁学室M02课题组开发了高性能自旋轨道转力矩(Spin-orbit Torque, SOT)驱动型磁性隧道结(MTJ)器件单元。受脉冲电压调控的SOT-MTJ可以在高低电阻态之间以0%到100%连续可调的概率产生二进制0/1随机数——即伯努利随机数发生器。
并进一步将这种具有概率可调特性的SOT-MTJ器件,首次用于RBM的吉布斯随机概率采样操作,实现了多种应用场景的演示。
SOT-MTJ的电压调控驱动磁矩翻转特性主要有两点,第一,它可以实现概率可调的真随机数发生器;第二,它的翻转概率和驱动电压满足sigmoid函数关系(图1)。而在受限玻尔兹曼机的核心操作—吉布斯概率采样中,人们正好需要sigmoid函数和概率可调的随机数。
从这个角度讲,SOT-MTJ恰好可用于吉布斯采样操作的硬件加速。如果用传统CMOS电路实现相同的功能,则还需要sigmoid函数运算、伪随机数生成等操作。对于CMOS电路而言,这些操作无疑会显著耗费运算资源且效率低下。而采用SOT-MTJ器件只须输入一个合适大小的脉冲电压,随后测量MTJ的电阻值,便可完成上述吉布斯采样操作,简单易行、省时省力。
以此为基础,该项工作首次在实验上验证了SOT-MTJ加速RBM吉布斯概率采样操作的可行性,实时进行了手写数字的图像识别和口述数字的语音识别,对于数字0 (或1),分别达到了100% (93%)和90% (95%)的识别准确率,这为SOT-MTJ下一步应用于AI硬件加速提供了可行的技术方案和器件原理验证(图2)。
更进一步,利用语音和图像识别学习到的网络参数,将两个已知网络恰当地对接起来,组合出的新网络还能进行跨模态的识别和生成。例如给定0或1的语音,可以生成0或1的图像;反之亦然(图3)。这展示了该网络架构的联想能力和生成能力。该工作还探索了其他应用场景,包括失真图像恢复、数据加密解密、整数因式分解和可逆布尔逻辑等等(图4)。
该研究表明利用SOT-MTJ可高效实现玻尔兹曼机吉布斯采样,并展示了利用自旋电子硬件加速生成式人工神经网络运算的可行性(图5)。