无心插柳:苏联数学家柯尔莫哥洛夫与神经网络的新生

作者: 尼克

来源: 赛先⽣

发布日期: 2024-06-12 09:01:03

苏联数学家柯尔莫哥洛夫对计算机科学和神经网络理论有重要贡献,他的工作如所罗⻔诺夫-柯尔莫哥洛夫-蔡廷理论和柯尔莫哥洛夫-阿诺德叠加定理,为大语言模型和神经网络提供了理论基础。他的学生列⽂和阿诺德也在计算机科学和数学领域做出了重要贡献。

苏联数学家柯尔莫哥洛夫(Andrey N. Kolmogorov,1903-1987)对计算机科学有两⼤贡献。首先,他和美国数学家所罗⻔诺夫和蔡廷独立发展的所罗⻔诺夫-柯尔莫哥洛夫-蔡廷理论(大多数时间被更简单地称为柯尔莫哥洛夫复杂性,或算法信息论)正在成为⼤语⾔模型的理论基础和解释工具。

追随柯尔莫哥洛夫做复杂性研究的学⽣列⽂(Leonid Levin,1948-),独立于库克(Stephen Cook,1939-),在1970年代初期得出了NP-完全性的结果,2000年后这个原以库克为名的定理,在计算理论的教科书⾥多被改称为库克-列⽂定理。

柯尔莫哥洛夫的另⼀重要贡献在数学界影响⼴泛,但很晚才被计算机科学家和⼈⼯智能学者赏识,尽管这项⼯作出现更早。他和学⽣弗拉基⽶尔·阿诺德在1956-1957年间共同证明的表示定理或称叠加(superposition)定理,后来成为神经⽹络的理论基础。神经⽹络复兴的数学保障是通⽤逼近定理(universal approximation theorem),其源头就是柯尔莫哥洛夫-阿诺德叠加。

柯尔莫哥洛夫的另⼀重要⼯作KAM理论,也是和阿诺德合作完成的。阿诺德和以色列逻辑学家谢乐赫分享了2001年的沃尔夫奖,和另⼀位俄国数学物理学家法捷耶夫分享了2008年的邵逸夫奖。丘成桐公允地说,在亚历⼭德罗夫和柯尔莫哥洛夫等领导下的俄罗斯数学学派,当时已经接近美国数学的总体⽔平。

以ChatGPT代表的⼤语⾔模型引发的讨论,多聚焦于数据与算⼒等⼯程问题,理论⽅⾯的研究则不那么热烈。⼤模型向计算理论提出了新问题,⽽计算理论也可帮助⼤模型示第⼀性原理,从⽽找到边界和⽅向。在当下的理论没法解释⼯程实践时,⼯程师们也会转向历史去寻找前辈们被埋没的思想,⼒图为何去何从提供⽅向性的洞⻅。

UUID: cd9c27f2-7065-4791-96a0-09f2ad9fd0b0

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/中科院物理所公众号-pdf2txt/2024/中科院物理所_2024-06-12「转」_无心插柳:苏联数学家柯尔莫哥洛夫与神经网络的新生.txt

是否为广告: 否

处理费用: 0.0119 元