苏联数学家柯尔莫哥洛夫(Andrey N. Kolmogorov,1903-1987)对计算机科学有两⼤贡献。首先,他和美国数学家所罗⻔诺夫和蔡廷独立发展的所罗⻔诺夫-柯尔莫哥洛夫-蔡廷理论(大多数时间被更简单地称为柯尔莫哥洛夫复杂性,或算法信息论)正在成为⼤语⾔模型的理论基础和解释工具。
追随柯尔莫哥洛夫做复杂性研究的学⽣列⽂(Leonid Levin,1948-),独立于库克(Stephen Cook,1939-),在1970年代初期得出了NP-完全性的结果,2000年后这个原以库克为名的定理,在计算理论的教科书⾥多被改称为库克-列⽂定理。
柯尔莫哥洛夫的另⼀重要贡献在数学界影响⼴泛,但很晚才被计算机科学家和⼈⼯智能学者赏识,尽管这项⼯作出现更早。他和学⽣弗拉基⽶尔·阿诺德在1956-1957年间共同证明的表示定理或称叠加(superposition)定理,后来成为神经⽹络的理论基础。神经⽹络复兴的数学保障是通⽤逼近定理(universal approximation theorem),其源头就是柯尔莫哥洛夫-阿诺德叠加。
柯尔莫哥洛夫的另⼀重要⼯作KAM理论,也是和阿诺德合作完成的。阿诺德和以色列逻辑学家谢乐赫分享了2001年的沃尔夫奖,和另⼀位俄国数学物理学家法捷耶夫分享了2008年的邵逸夫奖。丘成桐公允地说,在亚历⼭德罗夫和柯尔莫哥洛夫等领导下的俄罗斯数学学派,当时已经接近美国数学的总体⽔平。
以ChatGPT代表的⼤语⾔模型引发的讨论,多聚焦于数据与算⼒等⼯程问题,理论⽅⾯的研究则不那么热烈。⼤模型向计算理论提出了新问题,⽽计算理论也可帮助⼤模型示第⼀性原理,从⽽找到边界和⽅向。在当下的理论没法解释⼯程实践时,⼯程师们也会转向历史去寻找前辈们被埋没的思想,⼒图为何去何从提供⽅向性的洞⻅。