从猫说起，深度学习的过去、现在和未来。孟海华，中科院物理所，2017-03-27 10:12:37。转自公众号：三思派。1981年，美国加州理工学院的罗杰·握尔考特·斯佩里博士和加拿大出生的美国人戴维·哈贝尔教授以及瑞典的托尔斯滕·韦塞尔分享了1981年诺贝尔生理学、医学奖。
哈贝尔和韦塞尔的获奖要归功于“猫星人”，据说这个研究从1958年开始，在猫的后脑头骨上，开了一个小洞，向洞里插入电极，测量神经元的活跃程度，从而发现了一种神经元细胞——“方向选择性细胞”。计算能力成了拦路虎，人们探寻真理的脚步一刻没有停歇。1981年，IBM PC机中首次应用了8088芯片，开创了全新的微机时代。1985年，INTEL推出了32位微处理器，而且制造工艺也有了很大的进步。
许多人对286、386、486机器还存有记忆，人类的计算能力伴随着摩尔定律在大踏步前进。关于神经网络的算法也有了新的突破，1986年Hinton和David Rumelhard联合在国际权威杂志《自然》上提出在神经网络模型上运用反向传播算法，大大降低了原来预计的运算量。伴随着计算处理能力的提升，深度学习有了较快的发展，从结构上分为生成型深度结构、判别型深度结构、混合型深度结构三类。
1989年，加拿大多伦多大学教授Yann LeCun就和他的同事提出了卷积神经网络，是一种包含卷积层的深度神经网络模型，较早尝试深度学习对图像的处理。2012年，Hinton构建深度神经网络，在图像识别问题上取得质的提升和突破。百度公司将相关最新技术成功应用到人脸识别和自然图像识别问题，并推出相应的产品。同样是从2012年，人们逐渐熟悉Google Brain团队。
2015年至2017年初，一只“狗”引起世界的关注，人类围棋大师们陷入沉思。Gartner估计，从初创公司到技术巨头，全球有2,000多家供应商正在推出深度学习相关产品。但是，当前的深度学习有一定的局限：1、深度学习技术是启发式的。2、深度学习技术的不可预期性。3、深度学习系统化运用不成熟。4、部分错误的结果造成不良影响。5、学习速度不尽如人意。6、当前的范围比较狭窄。
深度学习是人工智能发展的主要驱动力。目前主要是在弱人工智能的发展中产生重要作用，主要是特定的行业应用，如上文提到的图像识别、自动驾驶和机器翻译等。但是要支撑和实现和人脑类似的强人工智能，OSTP（美国白宫科技政策办公室）认为至少在几十年内无法实现。除了上文提及的数据不足、相关算法需要改进外，对高性能计算的追求就是一个长期的持续的根本任务。GPU这个概念在当前的“读图时代”，很多人并不陌生。
GPU是相对于CPU的一个概念，由于在现代的计算机中（特别是家用系统，游戏的发烧友）图形的处理变得越来越重要，需要一个专门的图形的核心处理器，这就是GPU。GPU对于深度学习技术非常重要。随着技术的演进，核心处理器也将更新迭代。例如，谷歌大脑团队正在设计TPU（深度学习芯片），这是针对深度神经网络运算的改进版的处理器。量子计算至少在未来十年内不会影响深度学习。
谷歌大脑团队的科学家Jeff Dean认为，人的大脑不是量子计算机，量子计算几乎不会对深度学习造成特别明显的影响，特别是在中短期内（比如未来十年）。但是，未来的未来，量子计算是不是能根本上改变深度学习，这谁也说不准。
参考文献：1、Alexander Linden, Tom Austin, Svetlana Sicular，Innovation Insight for Deep Learning，Gartner:Published: 24 January 2017 ID: G00319191。2、Google Brain团队亲述：改变世界的技术与愿景。3、关于深度学习，看这一篇就够了。注：本文图片来源网络。
作者为上海市科学学研究所产业创新研究室副研究员。文章观点不代表主办机构立场。来源：三思派。编辑：Alex Yuan。