近日,深度学习三巨头 Geoffrey Hinton,Yoshua Bengio 和 Yann LeCun 齐聚 AAAI 2020 发表演讲,各自分享最近成果,并对一些前沿问题作出讨论。三位一致表示深度学习可以克服诸如对抗性示例之类的障碍,甚至可能获得常识。同时硬件方面的进步可以生成更大的神经网络,来助推 AI 的发展。
Geoffrey Hinton 介绍了《Stacked Capsule Autoencoders》, 一种无监督版本的胶囊自编码器,这种编码器能通过解码器进行反向传播训练,通过混合式姿势预测方案来预测以发生部件的姿势。
Yann Lecun 给出了自监督学习报告《Self-Supervised Learning》,介绍了深度学习面临的挑战,自监督学习的光明前景,基于能量学习的因变量模型,介绍最新自监督学习的进展与问题。
Yoshua Bengio 做了题为「深度学习在系统 2 处理中的应用」《Deep Learning for System 2 Processing》的演讲,提出深度学习向系统 2 发展是未来的趋势。
在与记者的对话中,三巨头一致表示用于加速神经网络训练和推理的新型硬件可以生成更大的模型,也许有一天有可能使数万亿突触神经网络成为可能。