图灵奖得主Yann LeCun万字访谈:DNN、史前文明、炼金术及新的寒冬

作者: 武文浩

来源: 公众号:数据实战派

发布日期: 2021-10-20 16:00:00

Yann LeCun在访谈中分享了他对深度学习的看法,包括自监督学习的进展、卷积神经网络的历史、深度学习在Facebook的应用,以及对未来人工智能发展的期待。他强调了深度学习的可行性和在各个领域的应用,同时也讨论了深度学习与理论之间的关系,以及可能的寒冬现象。

Yann LeCun,现任Facebook副总裁兼首席AI科学家,纽约大学教授,曾在Facebook内领导了AI研究,并领导建设了纽约大学的数据科学中心。Yann以其在上世纪八九十年代率先将卷积神经网络(CNNs)用于图片处理而闻名,被认为是对深度学习理论发展构成重大影响的人物之一,也由此获得了计算机领域最高奖项图灵奖。

近日,斯坦福博士生Andrey Kurenkov与Yann LeCun进行了一次深度对话,主要涉及深度学习的发展历史、关键问题的解决方案(特别是自监督学习)、Facebook的AI研究,以及对人工智能未来发展的一些看法,内容非常有启发性。作为Facebook的首席AI科学家,Yann LeCun希望在自己退休前,能够看到机器实现猫狗级别的智能。

出于知识传播的目的,“数据实战派”将本次采访中Yann LeCun的主要观点整理成文,以飨读者。

1. 在CNNs和深度学习真正出现之前,您是怎样注意到AI领域,并开始对它的探索和研究?Yann LeCun:我一直都对各种科学和物理学,尤其天体物理学,抱有兴趣。我发现那些有关智慧或智能的问题真的很引人入胜,比如智慧是怎样在人类和动物身上出现的。

老实说,我对很多问题都很感兴趣,但我发自内心地认为我更像是个工程师,我喜欢构建各种各样的东西,所以在上大学时我选学了工程学。但也正是在我学习工程学期间,我发现相比常规的工程学我更喜欢做科研。比如我经常会思考很多有关‘智能’的问题,并深信‘学习’是‘智能’的关键组成部分。

2. 所以,你是从AI领域最早的发展里程碑之一——Perceptron的概念中受到启发,并在上世纪八十年代发现没人在做‘学习机器’的情况下,想要试一试看行不行?

Yann LeCun:当时,我跟巴黎的一个小的独立实验室取得了联系,那个实验室并非一个正规的实验室,而是一群在大学里有职位的人聚在一起,构思一种他们称为automaton networks(自动机网络)的设想的场所。自动机网络,指的是能由大量基本构成单位间的交互导致复杂现象的概念,与我们现在所熟知的神经网络异曲同工。

3. 这些是在上世纪八十年代发生的事。八十年代末时Backpropogation兴起,在你毕业时,这对你来说是一件正在发生的事吗,还是你其实也参与到了其中?

Yann LeCun:是的,我是其中的一份子,我很早就意识到了关于学习机器的探讨在上世纪六十年代停止的原因,人们在寻找多层网络的构建准则,而他们最终徒劳而归,但我当时在某种意义上算是找到了这么一个“准则”。

4. 蛮有趣的,我记得在我了解深度学习发展史的过程中,还惊讶于你在1986年发表那篇著名的Backpropogation算法前,就已经发表过在原理上类似的东西(Target Prop算法),我记得是以法文发表的,感觉这可能是为何那篇论文并不怎么为人所知的原因。

Yann LeCun:是的,当时Geoff Hinton所在的那个会议是讲法语的。我的那篇Target Prop算法的论文写得很烂,很多部分都还很‘外行’,但它包含了‘逆流’的概念。

5. 所以,尽管那篇Target Prop算法的论文并不是很为人所知,它帮你与Geoff建立了联系,然后你们及其他许多人在后来推动了深度学习的发展。既然我们已经谈到这了,我还有一个想提的话题。记得最早关于卷积神经网络的论文应该是上世纪八十年代末出现的,那么,卷积神经网络这一概念最早是什么时候进入你脑海的?

Yann LeCun:其实还蛮早的,当时我将大量的空闲时间都用在了‘泡图书馆’上,阅读了大量上世纪六十年代关于AI的文献,也读了一些计算神经科学和理论神经科学的资料。

6. 所以,你当时没有现在这些方便的库和工具,可以说是需要自己搭一个PyTorch和TensorFlow?

Yann LeCun:对,其实意外的是,现在的许多库都可以算是我当时自己写的那些东西的后代或衍生,比如Torch,PyTorch,TensorFlow,Caffe和Caffe2。

7. 对于当下深度学习领域内正在发生的事,我想讨论自监督学习,这也是你之前有大量讨论过的一个概念。你在2019年跟Lex Fridman的一次访谈中有说,自监督学习目前虽然能在线性规划中能起作用,但在计算机视觉领域还不行。所以,现在你觉得自监督学习能在计算机视觉领域发挥些作用了吗?

Yann LeCun:现在,自监督学习确实能在计算机视觉领域里起到一些作用了。

8. 发展自监督学习的趋势确实还是很明显的,可能未来所有的算法都会通过这种方式进行预训练,记得有几篇2020年的论文就探讨了这个可能。请您再回顾一下您是怎么定义自监督学习的,以及为什么您认为这个方向很有前途?

Yann LeCun:我在过去的五六年里就这个话题做了很多讲座。但简单来说,如果是用强化学习来训练一个系统,你只需要偶尔给机器一些反馈就行。

9. 最近还有很多关于深度学习正在变成炼金术的讨论,你之前在这方面的很多言论都很有意思,可有什么新想法?

Yann LeCun:记得这个话题是由Eddie Rahimi几年前在Net Nerds的一次演讲所引发的。

10. 现在,我们意识到了深度学习是可行的,并且它在各个领域里的表现也都越来越好了,比如计算机视觉领域里的无监督学习应用。您作为Facebook AI研究所(FAIR)的主任,我很好奇,在学术研究之外,您觉得深度学习最令人兴奋的是什么?

Yann LeCun:首先要做一个更正,我已经不是FAIR的主任了,我现在是首席科学家。

11. 是的,虽然现在人们还在说,可能每过一段时间AI领域就会迎来一次寒冬,但从目前谷歌和Facebook等非常依赖深度学习的情况来看,应该是不太可能了?

Yann LeCun:对,确实是,虽然没准会有那种特别短的‘冬天’,但也不是说对所有人来说都是这样。

UUID: 282a04cf-c0e4-4071-956e-45f6f586a086

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2021年/学术头条_2021-10-20_「转」图灵奖得主Yann LeCun万字访谈:DNN“史前文明”、炼金术及新的寒冬.txt

是否为广告: 否

处理费用: 0.0197 元