2016年1月24日,人工智能先驱马文·明斯基逝世,他在人工智能史上有着特殊重要地位,其思想的深度与原始性有时远在许多人的理解范围。但人工智能领域也曾因明斯基等人的XOR逻辑算子“判”了神经元网络“死刑”,而陷于10年的寒冬之中。本文作者曾与明斯基有过数次私人交流,有感于其在人工智能领域的特殊贡献,特撰文纪念。
为了纪念刚刚去世的人工智能创始人之一、认知科学家马文·明斯基(Marvin Minsky)教授,《IEEE Intelligent Systems》(简称IS)杂志正组织相关领域专家及明斯基生前的学生与朋友,撰写悼文,怀念这位在人工智能史上有着特殊重要地位的先驱者和开拓者。
马文·明斯基曾说:“到底有什么神奇的诀窍使我们如此智能?诀窍就是根本没有诀窍。智能的力量来源于我们自身巨大的多样性,而非来源于某一单个的、完美的准则。”
作为IS杂志的前任主编和现任名誉主编,我也责无旁贷,同时邀请了人工智能另一位重要的先驱与开拓者、斯坦福人工智能实验室的尼尔斯·尼尔森(Nils Nilsson)教授参与。由于时间太短,正在夏威夷海滨度假的尼尔森无法完成,但提醒我邀请明斯基早期在MIT的博士毕业生丹尼·博布罗(Danny Bobrow)和波特·拉斐尔(Bert Raphael)。
丹尼和波特都是自然语言处理的先驱,其中丹尼的博士论文是关于文字代数问题求解的STUDENT程序,波特的博士论文是关于语义信息搜索回取的SIR程序。事实上,STUDENT和SIR都是基于LISP写的,这是一种通用的高级计算机程序语言,曾长期垄断人工智能领域的应用,算是人工智能在早期NLP(自然语言处理,Natural Language Processing)的里程碑工作。
有趣的是,当年丹尼和波特在美国伦塞利尔理工学院(Rensselaer Polytechnic Institute,简称RPI)读大学时是室友,1957年毕业后,二人分别去了麻省理工学院和布朗大学读硕士;后来在一次野营时相会,丹尼问波特在做什么,波特说正研究弹性波多散射问题,丹尼说这听起来没多大意思,他正研究如何用相机识别他老师明斯基的光头,只要他走进房间,计算机就喊:“Hello, Marvin!
”一周后,波特申请转到MIT,成为明斯基的学生,毕业后去了斯坦福国际咨询研究所(SRI International,美国一家民间研究机构),真的开发起利用相机进行视觉识别和导航的机器人ShaKey!
记得我曾告诉波特,我也是从美国伦塞利尔理工学院的机器人与自动化实验室毕业时,他则感慨当年RPI既无自动化,也无机器人和AI(人工智能,Artificial Intelligence),就连计算机课程都没有。其实当年MIT也没有这些,他们两人的AI博士学位还是从数学系得来的。
邀请完两位前辈,我自己如何写却成了问题。
他们都与明斯基有很长的交往和很深的渊源,都认为他是一个开放、真诚、友好、幽默、具有卓越创造性的人。细数起来,25年前去MIT面试机器人助理教授时,我与明斯基有过一次会面,另有两次是通过互联网交流:分别是6年前因他入选“人工智能名人堂”,编辑部试图举办新闻会议和4年前因他的学生、我的前辈和朋友戴夫·华尔兹(Dave Waltz)去世的两次邮件往来,除此之外,并没有更多的感性认识。
而且,对于明斯基的学术思想,我的看法和认识也比较复杂,虽然越来越赞成并获益于其观点和概念,但仍然还在过程之中,至今还没有完全定型。
虽然如此,在我眼里明斯基是一位真正意义上的科学思想家,而且其思想的深度与原始性有时远在许多人的理解范围之外,由此受到质疑并引起争议。
对此我深有体会:上世纪80年代中期,当我正挣扎着完成自己关于智能机组织与协调理论的博士论文时,明斯基发表了他著名的《The Society of Mind》,此书曾给我很大的希望,以为真找到通向智能机的“金光大道”了。但我还没有读完,就意识到对一个刚入门的研究生来说,这条路几乎是不可能走通的。
实验室有的同学甚至声称:“就是你给明斯基的‘Agents’加上再漂亮的数学公式和具体的逻辑程序,答辩委员会的教授们也不会通过你的论文。”
美国伦塞利尔理工学院是一个工程思维主导的地方,客气的教授认为他的想法是“decent speculation”(优美的假说)或者“too philosophical”(过于哲学),而有人则直接认为这些杂文“almost nothing to do with real AI”(与真正的人工智能毫无关系)。
毕业之后,我才开始重新认识明斯基关于Agents的想法,在NASA的火星移动机器人Spiderobot项目中进行尝试,这还是在MIT的布鲁克教授(Rodney Brook)关于机器人行为编程控制的Situated AI方法有了一些成功之后。九十年代末,当我自己开始基于代理控制(Agent-based Control, ABC)方法研究时,才真正感受到当时明斯基的Agents思想的大胆与深刻。
今天,计算与AI技术的处境已发生了翻天覆地的变化,这一切似乎是“水到渠成”,而且我个人感觉,最近二十年上下AI都主要是沿明斯基的Agents思路发展。同时,我个人也认为自己关于默顿系统、社会计算、基于虚实二像性的平行系统之平行智能的工作似乎也已进入明斯基30年前所设想的人工智能新世界。
这恰如明斯基所说的:“You don't understand anything until you learn it more than one way!”
除了明斯基发表的《The Society of Mind》之外,1986年还出版了人工智能和认知科学发展史上的另一部里程碑式的著作《Parallel Distributed Processing》(简称PDP)。
这使我有幸,更准确地讲是个人的不幸,同时读了三本书:1965年出版的《Learning Machines》,1969年发表的《Perceptrons》,以及Rumelhart、McClelland及PDP研究小组编著的PDP,外加Rosenblatt(主要是Perceptron)、Widrow(主要是Adaline)、机器学习和我的导师关于Learning Control等方面的论文。
尼尔森的书《Learning Machines》给出了当时学习机器和神经元网络的最全面的数学分析,但除了引理、定理外,几乎没有例子,特别是数值例子,使其成为“阳春白雪”、曲高和寡,由此失去了在工程师中快速传播推广神经元网络的机会。
明斯基和Seymour Papert——我一直戏称他为See more Papers(多读文献之意)教授,一位自己十分敬重的智慧教育学家和知识机器的倡导者——在他们的书中,用一个再简单不过的XOR逻辑算子差不多“判”了神经元网络的“死刑”,使其十年多几乎无人问津,直接导致了人工智能的第二个“冬天”,而且是“严冬”。
而就在1986年,当明斯基的《The Society of Mind》欲在人工智能领域引发另一次浪潮或更学术地讲一次Paradigm Shift(典范转移,又称范式转移,用来描述在科学范畴里,一种在基本理论上对根本假设的改变。后亦应用于各种其他学科方面的巨大转变。
)之际,PDP中基于Back-Propagation(反向传播,是“误差反向传播”的简称,是一种与最优化方法结合使用的,用来训练人工神经网络的常见方法)的多层神经元网络揭掉了明斯基和Papert贴在神经元网络上的“死咒”,使其“起死回生”,也使明斯基的声誉有所损失。
我相信这是为什么Agents和明斯基的其他学术思想没有更快兴起的一个重要原因,也是为什么后来Brook和Agents的倡导者没有更明确、更有力地阐明明斯基的原始贡献的重要原因。
然而,在当时我更倾向于明斯基和Papert在《Perceptrons》里对神经元网络(Neural Networks,简称NN)的评论,认为其基本模型有局限性和致命的缺陷,合起来的网络说不定会有这样或那样的问题,至少计算上不是很有效。
特别是读McCulloch-Pitts神经元模型原文时,觉得内容与题目(A Logical Calculus of Ideas Immanent in Nervous Activity)相差太远,几乎有读乔治·布尔(George Boole)的《Laws of Thought》的感觉:看懂的太简单,看不懂的觉得根本就是文学思想,不是硬科学(Hard Science)。
正在这段时间,我的导师的另一位学生,一位IBM的在职工程师,其关于Boltzmann网络的工作觉得明明是错的,但导师仍然支持,后来论文也发表了,更使我对NN的研究产生了偏见。而且,明斯基和Papert的书使得人工智能研究的大方向稳定在以推理和逻辑编程为主的“符号”系统之上,而不是以NN为代表的计算智能方法,对于刚从计算力学“逃出”不久的我而言,当然心里更愿意接受。
一直到毕业后,我才开始改变自己的认识,九十年代初开始了关于模糊神经网络(Neuro-Fuzzy Networks,简称NFN)方面的工作,构造了通用的九层网络,以及相应的学习算法,希望将语言层次的知识转化成数值层次的模型。
回想起来,NN乃至计算智能之所以一直游离在人工智能的主流之外,与明斯基有相当的关系。
这也给了IEEE创办NN Council,还有后来的NN学会,即改名后的计算智能学会(CIS)的机会。而且,后来以NN和支持向量机(Support Vector Machine,SVM是一种监督式学习的方法,可广泛地应用于统计分类以及回归分析)为主要起步方法的机器学习理论在广泛应用之后仍长期不被主流的人工智能学者所接受,似乎也与明斯基的影响有关。
好在今天的机器学习,特别是深度学习已然成为人工智能的主力,以符号逻辑为主的人工智能和以数值建模为主的计算智能也逐渐迈向合二为一。
其实NN的“灾难”并不能真正地怪罪于明斯基。在《Perceptrons》和明斯基等人于1971年撰写的关于MAC项目的进展报告中,明斯基等人把对NN的学术指责非常严格地限制于单层和“线性阈值”网络,而不是后来的多层和“Sigmoid非线性阈值”网络。
但他们的“文学性”描述却十分清楚地告诉大家:尽管他们不能证明多层NN基本上是无用的,但十分自信地认为这些网络作为计算学习器件是不够的。
科学是科学,文学是文学,大家忘了McCulloch和Pitts的原始文章已“证明”NN可实现所有的布尔逻辑算子,当然包括XOR,尼尔森的《Learning Machines》第6章也证明了多层网络Layered Machines的一般性能力,而结果还是明斯基和Papert一个小小的XOR反例就使NN尘封十余年、陷人工智能于“冬天”的境地。
其实要怪只能怪自己不动脑、盲从,把文学当科学。
这点反过来印证了明斯基所擅长的谜语式警句:“In science, one can learn the most by studying what seems the least。”唯一让自己感觉不适的是,NN重生以后,明斯基和Papert声称他们过去无意也没有把他们在《Perceptrons》中关于XOR的结论放大到整个NN,是别人误解了他们的真正意图。
换言之,有人愿意将其文学语言当成科学描述,怪不得他们。
我在理性上认同明斯基和Papert的说法,但《Perceptrons》明明白白往“死”里攻击当时风头正健的Perceptron,其提出者正是明斯基的高中校友和学术上的同事加“朋友”Frank Rosenblatt,就连他们书的封面也以象征Perceptron无能与致命缺陷的双螺旋连通图(而且还是用了令人尴尬的色彩)示之,感性上我很难觉得他们两人是无辜的。
另外别忘了,明斯基很自豪他在自己的博士论文中提出了世界上第一个随机连接的神经元网络模型,同时认为人脑就是简单而有局限的元件组成的“人肉机器(Meat Machines)”。而且,明斯基还在此前两年出版的一本关于形式语言和计算基础理论的大学教科书《Computation: Finite and Infinite Machines》里,与众不同地引入了神经元模型,大力提倡利用神经元网络构造理论计算机。
令人宽慰的是,1971年,Rosenblatt英年早逝,死于意外事故(也有人说是自杀)之后,明斯基和Papert将修正后的新版《Perceptrons》献给了Frank Rosenblatt。
说起明斯基的《Computation》,还有几句相关的题外话。我跟付导师(Minor Advisor) Robert McNaughton(罗伯特·麦柯纳赫顿)学习形式语言时,直接上研究生的课。
因无计算机专业的大学背景,罗伯特推荐了《Computation》自修补课。读后感觉这是一本深而易读的优秀教材,特别是明斯基关于Post定理的证明。独出心裁、简明清晰、令人印象深刻。而且,作为一个刚到美国的中国留学生,很高兴在书中看到对首位在计算机和人工智能领域里开拓的王浩教授工作的高度评价。
书中证明了“Wang Tiles(王氏瓷片)”与图灵通用机等价,同样具有不可决定性(Undecidability)。王浩是位著名的哲学家、数学逻辑学家和计算机科学家,在哈佛哲学家奎因的名下完成博士学位(尽管后来王浩对奎因有许多批评),也是罗伯特的师兄和研究数理逻辑的引路人。王浩晚年与Godel交好,成立Godel学会,致力于研究Godel哲学思想。
忘了是1989还是1990年,我当面向王浩提起此事,才知道“王氏瓷片”是王浩自己的一位博士生首先命名的,并证明了其不可决定性,而明斯基是这位学生博士答辩委员会的成员,所以非常了解这方面的工作,后来证明了“王氏瓷片”与图灵机的等价性(此事我一直不明白,但不是此处讨论的问题)。
更有趣的是,当我同王浩讲起系里有位教授人工智能的老师认为明斯基是位“文学家、作家、半个哲学家”时,王浩回应到:一、显然这位教授没有看过明斯基的“小说”;二、明斯基不是“半个哲学家”,至少是“一个半哲学家”!
细思一下,人工智能史上的这一“事件”有着令人“哭笑不得”的效果。尼尔森是AI中力推逻辑推理的“符号”学派(所谓“纯净派”)之主力。
对计算智能方法不能说有“敌视”,但起码支持不力,可他的第一本专著《Learning Machines》本来应兴起计算智能与机器学习的时代之“火”,却无疾而终,或者说后来被明斯基和Papert扑灭了。明斯基是AI的认知计算和“玄妙”学派(广义的“邋遢”派)之开山,没想到其《Perceptrons》却狙击了计算智能十余年,反过来成就了“符号”学派。
这段历史,符合其《The Society of Mind》的框架,活生生的一幕默顿系统动力学之戏,值得社会学家和历史学家仔细地去研究。
我隐约地感觉当年第一位AI之“父”John McCarthy离开MIT去斯坦福创立新的人工智能实验室与明斯基有关。按McCarthy的说法,是他召集了1956年的Dartmouth会议,提出了“人工智能”一词,明斯基只是应邀参会。
接着,McCarthy发明了LISP语言,理所当然成了现代AI“符号”学派的开山鼻祖。而明斯基一直自称也被公认是AI的“认知科学家”,更倾向于Cybernetics(控制论,台湾称为模控学,是研究人等动物与机器之间通讯的规律,现代信息技术的理论基础之一)创始人诺伯特·维纳(Norbert Wiener)教授关于人工智能的想法:连续逻辑、连续信号或连续数学为主,而非离散逻辑、离散符号或离散数学。
实际上,在Dartmouth的夏季会议之前,维纳过去的学生和同事已经于同年的春天在MIT校园里组织了一次关于认知科学的研讨会。此会是否对接下来夏天的人工智能研讨有影响,我目前无法知道,但无论如何,背后都有维纳的影响。而且,维纳与McClelland及Pitts的决裂,断送了当时计算方法引导AI发展的趋势,客观上为后来符号方法在AI的兴起创造了机会。
但MAC项目中的AI部分,主导者却成了明斯基,原因或许与项目资助人DARPA的Licklider博士的兴趣有关,其心理学和通信的背景,会更倾向于Wiener所指明的方向,结果导致McCarthy的离开,使斯坦福成为MIT MAC Project的竞争对手和“纯净派”的大本营。当然这一切都是我的猜想,目前并无任何材料和考证。
今年年初我去俄勒冈州拜访退休的尼尔森教授,还谈起他的《Learning Machines》和明斯基的《The Society of Mind》,希望有时间回头细读,结果得到他购赠的一本来自英国格拉斯哥大学(Glasgow University)图书馆的1965年原版《Learning Machines》。
没想到回到北京后,办公室送来一份湛庐文化董寰总编的礼物,明斯基《Emotion Machines》的中译本《情感机器》。我曾略读过英文版,但当时整体上并不认同其思路,也不相信其中的一些结论,正要把中文本带在出差的路上细读的时候,传来了明斯基去世的消息。
两本书,一个不幸的消息,加上谷歌AlphaGo算法大胜欧洲围棋冠军的《自然》论文和随之而来关于深度学习及“人类vs人工智能”的讨论热浪,逼着自花时间去读相关论文,也让我顿然失去了细读《情感机器》的心情。或许,还是先看看尼尔森的小册子《Understanding Belief》,理解信念到底为何吧。
不管信念为何,在一件事上我必须表明对明斯基教授的敬佩,就是他从不与自己的学生合作写文章,但竭力为他们创造自由良好的成长环境,甚至连自己的家都成了学生们随时可以来聊天吃饭的“俱乐部”。丹尼还记得明斯基请他去MIT教授餐厅吃饭,见过一个人,他还以为也是一个学生,结果竟是大名鼎鼎的维纳Wiener教授。
同任IS杂志主编(我的前任),也是《Science》杂志在信息领域的唯一编委,RPI计算机教授詹姆斯·汉德勒(James Hendler)也讲了类似的故事:他做学生参加会议时,明斯基请他一起吃饭,并说还请了另外一人,希望他不要失望,到后令詹姆斯大吃一惊,原来他是人工智能的另一位“开山之父”、图灵奖和诺贝尔经济奖得主哈伯特·西蒙(Herbert Simon)教授。明斯基对学生的扶持与风格,可见一斑。
随思乱笔,零散的回忆,算是自己对明斯基这位真正的科学与技术之思想家的怀念与致敬!
附录:2012年,时任IEEE IS杂志主编王飞跃提议建立“人工智能名人堂”,Minsky是入选的十位之一。Minsky1967年出版的唯一一本形式语言与计算理论大学教本,首次引入了神经元模型和基于神经元网络的理论计算机,并对华裔哲学家、数学逻辑学家和人工智能的开拓者王浩的工作进行介绍。
1969年,Minsky和Papert发表《Perceptrons》,其狭义科学分析通过广义文学语言的描述封杀了神经元网络研究十余年,将人工智能研究推入第二个“冬天”。史称“The Perceptron Controversy”或“The XOR Affair”。有人甚至声称Perceptron的发明人,英年意外死亡的Rosenblatt就是因此而自杀的。
1986年,Minsky出版了他第一本面向大众也是最有影响的专著《The Society of Mind》。本应立即引导人工智能走向新世界,但这一年,神经元网络起死回生,重新崛起,客观上延缓了Minsky思想的传播。但近二十年,人工智能大体上还是沿着Minsky的特定领域代理Agents交互的思路发展。2006年Minsky完成的《情感机器》,至今毁誉参半,没有被人充分理解,形成共识。
书一出版,就因其中压根没有提及生物神经情感专家(也是歌唱家、作曲家)LeDoux的工作和专著《情感大脑》而受指责。Minsky在书中认为意识、情感、推理都是思维,从而也就是智能之不同的方式而已。意识不是单一的“自我(Self)”,而是不同心理过程所组成的“分布式云(Decentralized Cloud)”。
而且,应该把大脑看成血肉构成的交换机,实现人工智能的途径就是如何使我们的理智(Mind)更像思维机器,而不是使机器更像人类。
王飞跃,主要研究领域为智能控制、社会计算、平行系统、知识自动化等。1990年获美国伦塞利尔理工学院(RPI)计算机与系统工程博士学位。现为中国科学院自动化研究所复杂系统管理与控制国家重点实验室主任,国防科技大学军事计算实验与平行系统技术研究中心主任,中国科学院大学中国经济与社会安全研究中心主任,青岛智能产业技术研究院院长。