2018年图灵奖得主、法国人工智能科学家杨立昆(Yann Le Cun)被认为是深度学习的发明者之一,也被誉为“卷积神经网络”之父。最近他出版了自传《科学之路:人、机器与未来》,这也是一本介绍人工智能相关领域的科普著作。作为当今火热的深度学习的构建者,杨立昆对人工智能的低谷与辉煌有着切身实际感受以及冷静务实的思考。那么他是如何踏上自己的科学之路的?
1969年,西摩尔·帕普特(Seymour Papert)和马文·明斯基联合出版《感知器:计算几何学概论》一书。他们在书中指出了学习机的局限性,其中有些局限性对于技术发展会造成严重阻碍。因此对他们来说,神经网络的研究之旅已经走入了死胡同。这两位都是麻省理工学院极负盛名的权威教授,他们的作品在领域内引起了轰动:资助机构纷纷退出,不再支持该领域的研究工作。
与GOFAI(good old-fashioned artificial intelligence,好的老式人工智能。基于逻辑、规则和搜索算法的传统人工智能方法。)一样,神经网络的研究也遭遇了它的第一个“冬天”。大多数科学家不再谈论制造具有学习能力的智能机器之事,转而把目光转向了更容易落地的项目。
在20世纪80年代后期,鲍勃·拉迪曾在贝尔实验室担任部门经理,领导着约300人工作,我也是其中一员。如果没有自适应滤波,就不会出现带扬声器的电话。扬声器可以让我们对着麦克风讲话,而它不需要同时记录对话者说的话。回声消除器使用的算法与感知器使用的算法非常相似。
在20世纪七八十年代的“寒冬”里,仍有一些人执着于神经网络研究,科学界把他们视为狂热的疯子。
比如,芬兰人戴沃·科霍宁,他研究的是一个与神经网络比较接近的课题——联想记忆。再比如,还有一群日本人,其中包括数学家甘利俊一和福岛邦彦。福岛邦彦前后一共发布了这个机器的两个版本,分别是20世纪70年代的认知机和80年代的神经认知机。福岛在前四层使用了某种“不受监督”的学习算法,也就是说,它们接受的是不考虑完成任务的、“盲目”的训练。
从20世纪70年代起,我开始对这些研究产生了浓厚的兴趣,我的好奇也许来自对父亲的观察。他是一名航空工程师,同时也是一位动手天才,他总是喜欢在业余时间做电子产品。我曾梦想成为一名古生物学家,因为人类智能的出现及演化深深地吸引了我。即使在今天,我也依旧认为大脑的运行机制是生命世界中最神秘的事物。
在第一批让我感到欣喜的读物中,有一份是我在1980年读过的报告。这实际上是一份辩论总结,辩论是在瑟里西会议上展开的,主题是人类语言机制到底是先天的还是后天的。语言学家诺姆·乔姆斯基的观点是,大脑中生来就已经存在能够让人们学习说话的结构。而发展心理学家让·皮亚杰则认为,一切都是通过后天学习获得的,包括大脑中学习说话的结构,语言学习是随着智能的逐步建构而分阶段完成的。
我对“自组织”也有浓厚的兴趣。分子或相对简单的物体是如何本能地相互作用组成复杂结构的?智能是如何从大量相互作用的简单元素(神经元)中发展而来的?我研究了柯尔莫哥洛夫、所罗门诺夫和柴廷的算法复杂性理论中的数学部分。
在思考这些问题时,我慢慢形成了自己的理念:以逻辑的方式无法建构真正的智能机器,我们必须赋予机器学习的能力,让它们能以经验为基础进行自我建构。在学校的第四年,我由于更加沉迷于这项研究,开始设想一种用于训练多层神经网络的学习规则,可惜并没有真正得到数学层面的验证。我的偶像是特伦斯·谢诺夫斯基,他与杰弗里·辛顿共同发表了关于玻尔兹曼机的文章,并在其中描述了一个带有“隐藏单元”的神经网络的学习过程。
1986年,特伦斯·谢诺夫斯基发表了一篇探讨NetTalk多层网络的技术报告,NetTalk通过反向传播训练使机器学习阅读。该系统将英文文本转换成一组语音音素后传到语音合成器,从而实现“阅读”的功能。1987年,我完成了博士论文,并在皮埃尔和玛丽·居里大学通过了答辩。1987年年底,我应邀前往麦吉尔大学的蒙特利尔计算机科学研究中心做报告。要知道在同时期,该领域的研究人员相当少。
杨立昆(Yann Le Cun):法国人,因在美国常被误缩写为Y.L.Cun,于是把LeCun合写在一起。他被誉为“卷积神经网络之父”,2019年因在人工智能深度学习方面的贡献获得2018年度图灵奖。此外,他还获得了2014年IEEE神经网络先锋奖、2015年IEEE PAMI杰出研究奖和2016年Lovie终身成就奖。
他为卷积神经网络(CNN)和图像识别领域做出了重要贡献,以手写字体识别、图像压缩和人工智能硬件等主题发表过190多份论文,研发了很多关于深度学习的项目,并且拥有14项相关的美国专利。研究领域包括人工智能、机器学习、机器感知、移动机器人学和计算神经学。