NeurIPS2019正在加拿大温哥华召开。作为机器学习领域最重要的顶会，NeurIPS一直有着很强的影响力和排名，被认为是神经计算方面最好的会议之一。本文为大家带来了Yoshua Bengio在会议上所作报告。
早期，深度学习的进展主要集中在对静态数据集的学习上，主要用于各类感知任务，这些任务大都依靠人类的直觉，可以在无意识的情况下完成，可称为第一代系统需求。
然而，最近几年，随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展，它们为深度学习架构和训练框架的进一步发展，开启了新的大门，这种深度架构和训练框架有助于解决第二代系统需求（这种系统任务需要人类有意识的去完成），如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。
从第一代系统的深度学习，扩展到第二代系统的任务之中，对于完成之前挖掘高层次抽象特征的目标是非常重要的，因为我们认为第二代系统需求，将会对表征学习提出更高的要求，以发掘出某种人类可以用语言进行巧妙处理的高级内容。
我们认为，为了达到这个目标，soft-attention机制是关键因素，它每次都关注其中某几个概念并进行计算，因为意识先验及其相关的假设中，许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后，报告介绍了元学习，这种先验意识和代理视角下的表征学习，会更加有助于以新颖的方式，支持强大的合成泛化形式。
Yoshua Bengio是人工智能自然语言处理领域的先锋。
Bengio，1964年出生于法国，成长于加拿大，现居蒙特利尔，在蒙特利尔大学（University of Montreal）计算机科学与运算系任教授。Bengio在麦吉尔大学获得计算机科学博士学位。他与Geoffrey Hinton、Yann LeCun一起被认为是20世纪90年代和21世纪初期推动深度学习的三个人。
2016年10月，Bengio联合创立了一个位于蒙特利尔的人工智能孵化器Element AI。
（本文部分内容整理自专知）