对话香港大学马毅:如果相信只靠Scaling Laws就能实现AGI,你该改行了

作者: 程曼祺

来源: 晚点团队

发布日期: 2024-06-13 08:29:32

马毅认为当前的AI系统主要在进行数据压缩,而不是实现通用人工智能(AGI)。他对Scaling Laws持怀疑态度,认为依赖于大模型的信仰可能导致对AI的误解和过度监管。他强调白盒模型的重要性,认为它能够帮助人们更好地理解深度学习网络的本质,并希望通过教育提升年轻一代对AI的正确认识。

当大部分人都相信一件事或趋势时,不同意的人可以选择沉默,也可以大声说出来。前者是少数派中的多数派,后者少数派中的少数派。马毅就是一个少数派中的少数派。

自2000年从伯克利大学博士毕业以来,马毅先后任职于伊利诺伊大学香槟分校(UIUC)、微软亚研院、上海科技大学、伯克利大学和香港大学,现担任香港大学计算机系主任和数据科学研究院院长。

他最早将“压缩感知”技术应用于计算机视觉领域,在人脸识别、物体分类等任务上产生了巨大影响。知名AI学者李飞飞是马毅在UIUC时参与招聘的第一个华人助理教授,ResNet一作何恺明是马毅在微软亚研院负责视觉组时招的第一个新员工。

马毅公开表达时直言不讳。AI业界惊叹于GPT等大模型的威力,担心AI可能毁灭人类,如图灵奖得主杰弗里·辛顿(Geoffrey Hinton)和OpenAI发起者之一伊隆·马斯克(Elon Musk)就多次将AI类比为原子弹,呼吁监管。“说现在的AI危险的人,要么是无知,要么是别有目的。”马毅在Twitter上回应AI威胁论。强烈的观点来自他对当前AI系统的理解。

不少人相信用更多数据、更大算力做更大参数的模型,就可以实现AGI(通用人工智能),这就是大模型的Scaling Laws(规模定律),它被一些人视为“信仰”。马毅则不相信这条路。他认为现在的深度学习网络本质上都在做压缩(compression):就是从图像、声音和语言等高维信号里,找到能表示数据间相关性和规律的低维结构。

2023年底发表白盒大模型框架CRATE时,马毅在社交媒体上称压缩不会通向通用智能或意识。“GPT有很多知识,但知识不等于智能。”GPT表现出来的数学推理等能力在马毅看来本质还是依靠记忆、统计,就像一个接受填鸭式教育的高分低能的学生,它并不能学到因果推理、逻辑等能力。

马毅理解的智能,是能自己纠正现存知识的不足并发现新知识的系统。为解释深度学习网络到底在做什么,马毅团队最近几年的重点工作是白盒大模型,用数学来解释深度学习网络的压缩过程,以找到更高效的压缩方式。他希望让更多人了解白盒,以对抗黑盒带来的误解,因为“历史上,任何有用的黑盒都可能变成迷信和巫术”。他担心对AI的恐惧可能带来过度监管,遏制创新。

相比Scaling Laws追随者的人多势众和AI威胁论的直指人心,马毅等少数派影响力小得多。今年5月与马毅在香港见面前,我们问身边的AI从业者:怎么看马毅团队的研究?“不太关心”、“不看他的论文了”,大部分从业者更关注如何在现有路线下提高训练和推理效率。就在前几天,马毅的多篇论文合作者,图灵奖得主杨立昆(Yann LeCun)公开抨击马斯克说AI可能毁灭人类是阴谋论。

马斯克问杨立昆:“过去5年,你做了哪些‘科学’?”“你应该更努力一点。”

马毅团队的白盒大模型CRATE去年发布时,在同等参数下的指标不如已有的模型ViT。一些从业者称这是“负优化”,“魔改Transformer,但效果还不如”。秘塔科技创始人、马毅的学生闵可锐说:现在AI界的评价标准越来越偏向一个研究是否work,而不是智识上的增长。“你不在1000亿参数的模型上验证,大家就不太相信。”他称学界与工业界的算力差距也拉大了不同模型的效果差距。

去年马毅创立了忆生科技:“如果产业界能接受这些东西,功成不必在我。但我们想加速这个过程,证明白盒路线可行。”马毅说。写完第三本书后发誓不再写书的马毅现在又开始写一本新书,针对高年级本科生。他将面向香港大学所有专业的学生设计AI通识课程,讲历史和计算思想,希望年轻一代有正确理解AI的基础。

忆生天使轮投资人,真格基金合伙人刘元认为,在主流方向上做到最好,或敢做、能做不一样方向的人,都是他们寻找的创始人:“马毅是我们见过的、少有的能做开创性工作的学者,我们很钦佩。”真理不一定掌握在少数人手中,但少数派和观点竞争的存在增加了发现真知的概率。“如果你相信只靠Scaling Laws就能实现AGI,我觉得你该改行了。”

UUID: 6be163ae-18f8-4dff-8534-730d18fb6af1

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/知识分子公众号-pdf2txt/2024年/知识分子_2024-06-13「转」_对话香港大学马毅:“如果相信只靠ScalingLaws就能实现AGI,你该改行了”.txt

是否为广告: 否

处理费用: 0.0203 元