在传统计算当中,计算机程序使用明确的指令逐条指导计算机运行。但是在人工智能研究中的一个分支——深度学习中,计算机不再被明确告知如何完成特定的任务,例如将某些对象进行分类等。取而代之的是,计算机使用一种学习算法来提取与输入数据相关的数据模式,例如图像中的像素点,反映到所需的输出,例如生成一只“猫”的标签。
曾经,研究人员们面临的最大的挑战是如何开发和设计一套有效的学习算法,以修改人工神经网络中不同连接的权重,通过这些权重来捕捉数据中的关键模式。
杰弗里·欣顿自二十世纪八十年早期开始,就一直倡导使用机器学习的方法研究人工智能。他通过观察和研究人脑的功能,提出了一套可行的机器学习系统研发方法。受到人脑的启发,他与别人一起提出了“人工神经网络”的概念,并将其作为他们开展机器学习相关研发的基石。
在计算机科学当中,“神经网络”一词是指计算机中由多层被称为“神经元”的简单计算元件组成的系统。它们大致相似于人脑当中的“神经元”,通过加权连接相互影响。通过修改连接之间的权重,可以改变神经网络所执行的计算。
约书亚·本希奥、杰弗里·欣顿和杨立昆三位科学家意识到了利用多层结构建立深度神经网络的重要性,“深度学习”便由此得名。
三位科学家在 30 年间为该领域建立和带来的概念基础和技术革新,也随着现代计算机图像处理单元(Graphics Processing Unit, GPU)的硬件条件增强发展迅速。同时,越来越多的可获取的大规模数据集,也对该技术的发展起到了很好的推进作用。近年来,在诸多因素的推动下计算机视觉、语音识别和机器翻译等技术实现了跨越式发展。
约书亚·本希奥现为加拿大蒙特利尔大学(University of Montreal)教授、蒙特利尔学习算法研究所(Montreal Institute of Learning Algorithms,MILA)科学主任。主要贡献包括序列的概率模型、高维字嵌入和关注、可生成对抗网络。
杰弗里·欣顿现任谷歌大脑(Google Brain)团队顾问、工程研究员(Engineering Fellow)、多伦多人工智能矢量研究所(Vector Institute for Artificial Intelligence)首席科学顾问(Chief Scientific Adviser)、多伦多大学(the University of Toronto)名誉教授(Professor Emeritus)。
主要贡献包括反向传播算法、玻尔兹曼机、改进卷积神经网络。
杨立昆现就职于纽约大学(New York University)和 Facebook,是纽约大学的教授和Facebook公司人工智能方向的首席科学家(Chief AI Scientist)。主要贡献包括卷积神经网络、对反向传播算法的改进、拓展神经网络的视野。