近日，图灵奖得主Yoshua Bengio在NeuIPS 2019带来一场题为《From System 1 Deep Learning To System 2 Deep Learing》的报告，提到了几个非常有意思的观点。本文为大家带来Yoshua Bengio的报告详解。
Yoshua认为，AI作为本世纪的惊人进步，仅仅依靠增加数据集、模型大小、电脑速度是否就足够了呢？实际上AI距真正的人工智能还差的很远！Yoshua的第一个观点，是指人的认知系统包含两个子系统：System1直觉系统，主要负责快速、无意识、非语言的认知，这是目前深度学习主要做的事情；System2是逻辑分析系统，是有意识的、带逻辑、规划、推理以及可以语言表达的系统，这是未来深度学习需要着重考虑的。
对于如何用深度学习来实现System2？Yoshua认为，对于计算机来说，最关键的是处理数据分布中的变化。System 2的基本要素包括注意力和意识。注意力（Attention）实际在目前的深度学习模型中已经有大量的实现和探讨，比如GAT（图注意力机制）等；意识这部分则比较难，其实意识最关键的是定义到怎样的边界。Yoshua提到意识先验可以使用稀疏因子图模型来实现，这是一个思路，实现了因果关系。
从认知角度来说，意识是一个很复杂的机制，Global Workspace Theory是1988年Baars等人提出的一个认知神经理论，其核心思想就是意识内容在各种不同认知过程中全局存在。这些概念听起来有点抽象，后来Dehaene、Changeux and colleagues等人提出了一个Global Workspace Architecture的实现模型。
Global workspace theory和前面介绍的System2很相似，其他和意识相关的认知理论还包括Multiple drafts theory，这是Daniel Dennett在1991年提出的一个理论。
机器学习和意识模型相结合的关键是如何在机器学习中实现意识，或者说意识相关的理论/模型如何帮助机器学习。比如可以基于意识理论构造一些假设，然后用机器学习的方法来验证这些假设。当然从人的角度来看意识，高层次的表示可以说是语言，这需要把人的两个认知系统System1和System2有机地结合起来，也就是说把低层次的表示和高层层次的决策结合起来。
Yoshua还提到了前意识/意识先验。具体可以使用稀疏因子图，稀疏因子图不是一个新的事，基本思路是图模型的统一模型，因子图的好处是可以把有向图和无向图都统一起来。稀疏因子图可以用来学习变量之间的因果关系，从而构造变量之间的因果关系（找到真正的因果关系，而不是给不同变量给一个权重，这是为什么考虑稀疏的原因）。元学习（学习学习的模型）是可能实现机器学习到OOD和模型快速迁移的一个办法。
最后是如何学习样本的可能操作，类似自动机器学习，但这里是在对象的不同操作层面。后台回复“YB 11”，获取“Yoshua Bengio”PPT。往期精彩回顾【NeurIPS100】NeurIPS2019七篇获奖论文揭晓，入选论文深度分析！NeurIPS十年高引学者TOP100榜单发布！这些大牛值得膜拜！【NeurIPS100】AMiner参会攻略：13000人的NeurIPS大会，如何参加更高效？
点击下方“阅读原文”查看相关文章！