中科院李国齐:一文梳理类脑计算的前世今生

作者: 李国齐

来源: 智源社区

发布日期: 2022-05-09 16:00:00

李国齐研究员在智源研究院青源Talk第16期活动中分享了类脑计算的研究进展和展望,介绍了类脑计算的基本概念及其在模型算法、软件、芯片和数据等多个方面的最新研究进展,并对未来发展趋势进行了总结。

众所周知,人类大脑活动是复杂而连续的动力学过程,其复杂程度远超当前算力资源所能模拟的上限。大脑约有1000亿个神经元,100万亿个突触,平均突触连接的长度约10-1000微米。假设每1微米连接用1个微分方程近似,初略估算人类大脑约具有1000万亿-10亿亿参数(该参数可能被低估)。

类脑计算的核心在于借鉴生物神经系统的信息处理模式或结构,进而构建相应的计算理论、芯片体系结构以及应用模型与算法,类脑计算被认为是后摩尔时代最为重要的发展方向之一,或有可能成为未来智能计算的突破口。

在智源研究院青源Talk第16期活动中,中科院自动化所李国齐研究员做了题为“类脑计算的研究进展和展望”的报告分享。李国齐首先介绍了类脑计算的基本概念,而后从类脑计算系统的模型算法、软件、芯片以及数据等多个方面介绍了当前类脑计算系统的最新研究进展,最后对类脑计算系统的发展趋势进行总结与展望。

什么是类脑计算?

类脑计算是近些年来崛起的新兴研究领域,与人工智能、机器学习等领域类似,很难对其进行准确定义,目前业内尚没有普遍认可的类脑计算概念定义。李国齐指出,类脑计算的描述性定义为“指受人脑信息处理方式启发,以更通用的人工智能和高效智能边缘端/云端为目标构建信息系统的技术总称”。

类脑计算希望融合脑科学、计算神经科学、认知科学甚至统计物理等学科的知识来解决现有传统计算技术的一些问题,进而构建更加通用、高效、智能的新颖信息系统。

狭义类脑计算是指神经形态计算,主要是研制神经形态芯片以支持源自计算神经科学的脉冲神经网络(Spiking Neural Networks,SNN);广义类脑计算也包括存内计算、忆阻器芯片甚至研制AI芯片以支持传统的人工神经网络(Artificial Neural Networks,ANN)。因此,类脑计算的研究与发展与人工智能一样也需要从模型算法、软件、芯片和数据等各个方向协同展开。

当前,神经科学与人工智能之间存在着巨大鸿沟,神经科学侧重于重构大脑内部的精细结构和生理细节,人工智能则侧重于通过对神经结构进行数学抽象以实现计算的高效性。因此,人工智能和神经科学如何交叉融合成为一个艰巨挑战。类脑计算中,脉冲神经网络兼具了生物合理性和计算高效性,或可为人工智能提供新范式。

与ANN训练相比,SNN的高效训练面临着诸多问题与挑战,例如脉冲神经元中复杂的时空动力过程、脉冲神经元之间传递的脉冲信息不可导、脉冲退化和训练精度损失等。当前,SNN训练方法主要包括无监督学习、间接有监督学习和直接有监督学习三类。这些训练方法尝试从不同的角度解决上述问题和挑战。

类脑计算软件框架与工具通常包括神经形态芯片工具链、神经系统仿真模拟和SNN学习框架等三个方面的内容,具体可参考清华大学张悠慧教授在IEEE Transactions on High Performance Computing的综述论文观点。神经形态芯片工具链目前尚处于早期阶段,存在软件与硬件紧密耦合,通用性、自动化程度不高,使用便捷性差等许多问题。

神经系统软件仿真框架能够详细模拟生物神经网络,但要求用户具有一定的计算神经科学基础。

从功能角度看,类脑芯片主要分为四类:主要支持人工神经网络(TPU、寒武纪、华为昇腾等)的深度学习加速器;主要支持脉冲神经网络(TrueNorth、Loihi、达尔文等芯片)的神经形态芯片;支持人工/脉冲神经网络的异构融合芯片(Tianjinc芯片);以及支持神经元编程的脑仿真模拟芯片(SpiNNaker、ROLLS、Loihi等芯片)和具备低时延、高动态的神经形态相机为代表的感知芯片。

众所周知,深度学习发展四要素为算法、算力、开发工具以及大规模的数据。在深度学习领域,成百上千个开源数据集覆盖分类、检测、跟踪、自然语言等,极大地促进了深度学习的繁荣。

相比之下,类脑数据集十分匮乏,现有的数据集主要包括四类:第一类是通过转换算法将ANN数据集转变为事件信号数据集,典型数据集包括基于ImageNet转换而来的ES-ImageNet,基于UCF101转化的事件信号数据集ES-UCF101,基于BDD100K转化的事件信号数据集BDD100K-DVS等;第二类是利用神经形态相机DVS将图像或视频数据库转化为事件数据集,比如N-MNIST、CIFA10-DVS等数据集;第三类是通过神经形态相机DVS直接拍摄获取的数据集,比如DVS-Gesture、PKU-DDD17-CAR、Gen1 Detection、1Mpx Detection、PKU-DAVIS-SOD等;最后一类是其它类型的类脑数据集,比如EEG数据集、脑机接口(BCI)相关的数据集、帧数据和事件的混合数据等。

最后,李国齐结合自己的思考总结了类脑计算的未来发展趋势,并对类脑系统框架进行了总结。在模型算法方面,不仅可以通过增加模型参数、网络深度或宽度使得SNN模型变大变强,更重要的提供向内增加神经元复杂程度的能力支撑,缩减神经科学与人工智能之间存在的鸿沟。因此,构造包含更丰富动力学的神经元模型、神经网络及对应的算法是未来的重要方向。

在类脑软件方面,如何提升SNN的研究生态是未来发展的必经之路,重要的方向包括神经形态工具链的软硬件去耦合、SNN训练加速框架、及高效的神经系统仿真和模拟等。在类脑数据方面,如何构建具备稀疏事件特征、具备丰富的时间尺度/空间尺度特征的大规模多模态混合数据集十分重要。在类脑芯片方面,主要关注神经形态芯片如何进行更高效的感知、存储和计算,如何构建融合感存算一体化的计算系统。

研究更高效的芯片架构、研制更具有类脑元素的芯片功能也是未来发展的重要方向。芯片架构上可以探索类脑芯片的分层存储体系、高效在线学习架构及其与其它硬件平台的高效兼容能力;芯片功能上可以探索如何融入更多的算子支持比如微分方程、线性方程求解,以及如何在算子层面上支持更类脑的神经元模型和网络结构等。

UUID: ed680234-5439-47ab-857c-271b803d1550

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2022年/学术头条_2022-05-09_「转」中科院李国齐:一文梳理类脑计算的前世今生.txt

是否为广告: 否

处理费用: 0.0087 元