放弃Scaling Law!中科院、清北提出内生复杂性类脑网络:让AI像人脑一样“小而强”

作者: 李国齐、徐波、田永鸿、何林轩、徐蕴辉、何炜华、林逸晗

来源: Nature Computational Science

发布日期: 2024-08-27 08:59:08

中国科学院自动化研究所李国齐、徐波研究员团队联合清华大学、北京大学等团队提出了一种基于内生复杂性的类脑神经元模型构建方法,这种方法改善了传统模型通过向外拓展规模带来的计算资源消耗问题,并保持了性能,内存使用量减少了 4 倍,处理速度提高了 1 倍。

想象一下,如果人工智能(AI)模型能像人脑一样,规模小,耗能少,但具备同样复杂功能,那现阶段 AI 模型训练的耗能大、难理解的瓶颈是不是就能解决了?

中国科学院自动化研究所李国齐、徐波研究员团队联合清华大学、北京大学等团队便在这一方面取得了突破—— 他们借鉴大脑神经元复杂动力学特性,提出了“基于内生复杂性”的类脑神经元模型构建方法,而非基于 Scaling Law 去构建更大、更深和更宽的神经网络。这种方法不仅改善了传统模型通过向外拓展规模带来的计算资源消耗问题,还保持了性能,内存使用量减少了 4 倍,处理速度提高了 1 倍。

研究论文以“Network model with internal complexity bridges artificial intelligence and neuroscience”为题,发表在权威期刊 Nature Computational Science 上。共同通讯作者为中国科学院自动化所李国齐研究员、徐波研究员,北京大学田永鸿教授。

共同一作是清华大学钱学森班的本科生何林轩(自动化所实习生),数理基科班本科生徐蕴辉(自动化所实习生),清华大学精仪系博士生何炜华和林逸晗。

李国齐解释说,构建更大、更复杂的神经网络的流行方法,称为“基于外生复杂性”,消耗了大量的能源和计算能力,同时缺乏可解释性。相比之下,拥有 1000 亿个神经元和 1000 万亿个突触连接的人脑仅需 20 瓦的功率即可高效运行。

加州大学圣克鲁斯分校 Jason Eshraghian 团队在评论文章中表示,这一发现暗示了 AI 发展的潜在转变。尽管大语言模型(LLM)的成功展示了通过大量参数计数和复杂架构的外部复杂性的力量,但这项新的研究表明,增强内部复杂性可能提供了改善 AI 性能和效率的替代路径。

他们还表示,AI 中的内部与外部复杂性之争仍然开放,两种方法在未来发展中都可能发挥作用。通过重新审视和深化神经科学与 AI 之间的联系,我们可能会发现构建更高效、更强大,甚至更“类脑”的 AI 系统的新方法。

UUID: 86a82d24-ac39-4bde-8d8c-0ef51a6e397c

原始文件名: /home/andie/dev/tudou/annot/微推助手/学术头条/学术头条_2024-08-27_放弃ScalingLaw!中科院、清北提出内生复杂性类脑网络:让AI像人脑一样“小而强”.html

是否为广告: 否

处理费用: 0.0038 元