4月20日,Intel宣布计划裁员1.2万人,公司接下来将进行费用高达12亿美元的重组,这一消息震惊了整个芯片产业,同时宣告了芯片产业中不可逆转的趋势:随着以深度学习为代表的人工智能技术走向主流,占据市场几十年的CPU可能被拉下王座;成本更低的FPGA、能够以更快速度处理数据的GPU、能够以更大并行度进行计算的概率芯片和其他更多采用全新架构的(专用)处理器争夺市场的时代即将来临。
这里,我们简要介绍一下概率芯片的数学基础,比较一下基于传统CPU的算法和概率算法的异同。我们用常见的偏微分方程算法为例来说明。
从理论上而言,几乎所有物理规律的终极形式都是偏微分方程,现代几何中的基本定理也是依赖于微分方程。工程上,许多问题都是以微分方程为基本工具。例如,计算数学家Stanley Osher学派提出了用偏微分方程来做图像处理的水平集法(Level Set Method),应用广泛,影响深远。例如Photoshop中的抠图和贴图功能就是基于椭圆型偏微分方程-泊松方程。
概率算法的思路和经典的偏微分方程解法迥然不同。从物理角度而言,热力学的宏观现象由线性椭圆型偏微分方程来描述,微观现象可以用布朗运动来解释,因此通过模拟布朗运动,我们可以解偏微分方程。这正是所谓蒙特卡洛方法的核心想法。
布朗运动具有如下的特征:我们假设有一个粒子在直线上做布朗运动,在时刻粒子的位置为,那么:1. 在时刻0,粒子的位置在原点,;2. 增量独立性:如果,那么和随机过程相互独立;3. 增量正态分布:随机变量正态分布;4. 路径连续:以概率1为时间的连续函数。如果粒子在高维空间中运动,每个分量为一维的布朗运动,则粒子的运动被称为是高维布朗运动。
布朗运动的一个本质特征是各向同性:在每一刹那,粒子向各个方向前进的概率相同。观察图2的黎曼映照,我们可以得出共形(保角)映射将无穷小圆映成无穷小圆,局部上共形映射就是相似变换,换言之共形映射诱导的切空间之间的线性映射是相似变换。因此,共形变换将二维布朗运动映成布朗运动,但是时间参量会发生相应变化。
热核由黎曼度量所决定,不同的黎曼度量将会改变三角剖分中边上的权重。反过来,黎曼度量的所有信息都由热核反映出来,任意两点间的测地距离可以由热核计算,这意味着等距映射保持热核。因此随机行走完全决定了热核,从而决定了黎曼度量。
同经典的有限元方法相比,随机行走的概率方法具有很多优点:算法逻辑异常简单,不需要复杂的数据结构,不需要数值代数计算;计算精度可以通过模拟不同数目的随机行走自如控制;不同的随机行走相互独立,可以大规模并行模拟;模拟过程中,不需要全局信息,只需要网络的局部信息。相比于传统的数值偏微分方程方法,空间中的随机行走非常容易用计算机编程模拟,例如蒙特卡洛方法。因此用简单的算法,我们可以得到复杂的几何信息。
但是,这一类方法的收敛速度相对较慢,为了提高10倍的精度,我们需要增加到100倍随机行走。
用经典的CPU体系结构进行概率运算,相当于用高射炮打蚊子,一方面大材小用,另一方面笨拙臃肿。为了不同的应用,例如图像处理,而设计的概率芯片可以极大地发挥概率算法简单并行的特点,极大地提高系统性能。依随Intel的重组,我们再次体会到山雨欲来风满楼的紧迫感:传统CPU体系机构独霸江山的时代将一去不复返,概率芯片和其他更多采用全新架构的专用处理器分庭抗礼的时代即将来临!