万字访谈:⽤更⼤模型「预测下⼀个词」值得全⼒以赴

来源: 机器之⼼

发布日期: 2024-05-22 17:49:16

图灵奖得主 Geoffrey Hinton 在访谈中讨论了⼤型语⾔模型的技术路线、多模态学习、数字计算与共享知识、智能系统的意识与情感等话题。他认为,⼤型语⾔模型通过寻找不同领域的共同结构来进⾏编码,这种能⼒使它们能够压缩信息并形成深层次的理解,发现现实世界中⼈类尚未发现的万事万物的联系,这是创造⼒的来源。

最近,图灵奖得主 Geoffrey Hinton 的⼀个访谈视频得到了⽹友的⾼度评价。在访谈中,Hinton 谈到了很多话题,包括当前⼤模型的技术路线、多模态学习的重要性、数字计算与共享知识、智能系统的意识与情感以及他的合作者和优秀学⽣。

Hinton 认为,⼤型语⾔模型通过寻找不同领域的共同结构来进⾏编码,这种能⼒使它们能够压缩信息并形成深层次的理解,发现现实世界中⼈类尚未发现的万事万物的联系,这是创造⼒的来源。他还提到,通过预测下⼀个符号,模型实际上必须执⾏⼀定程度的推理,⽽不是像很多⼈所说的⼤模型并不具备推理能⼒。随着模型规模的增加,这种推理能⼒也将变得越来越强。这是⼀个值得全⼒以赴的⽅向。

在回忆和 Ilya 的师⽣合作时,Hinton 提到,Ilya 拥有很好的直觉。他很早就预⻅到,增⼤模型的规模是有⽤的,尽管当时 Hinton 并不看好这个想法。事实证明,Ilya 的直觉是很准的。整个访谈时间跨度⽐较⼤,为了⽅便梳理故事背景,我们可以先回顾⼀下 Hinton 的职业⽣涯。

1947 年 12 ⽉ 6 ⽇,Hinton 出⽣于英国温布尔登。

1970 年,获得剑桥⼤学实验⼼理学学⼠学位。1976 年 —1978 年,担任苏塞克斯⼤学认知科学研究项⽬研究员。1978 年,获得爱丁堡⼤学⼈⼯智能学博⼠学位。1978 年 —1980 年,担任加州⼤学圣地亚哥分校认知科学系访问学者。1980 年 —1982 年,担任英国剑桥 MRC 应⽤⼼理学部科学管理⼈员。1982 年 —1987 年,历任卡内基梅隆⼤学计算机科学系助理教授、副教授。

1987 年 —1998 年,担任多伦多⼤学计算机科学系教授。1996 年,当选为加拿⼤皇家学会院⼠。1998 年,当选为英国皇家学会院⼠。1998 年 —2001 年,担任伦敦⼤学学院盖茨⽐计算神经科学部创始主任。2001 年 —2014 年,担任多伦多⼤学计算机科学系教授。2003 年,当选为认知科学学会会⼠。2013 年 —2016 年,担任⾕歌杰出研究员。

2016 年 —2023 年,担任⾕歌副总裁兼⼯程研究员。2023 年,从⾕歌辞职。

UUID: 3222b5ac-7079-4f28-9816-d1c2c678da2a

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2024年/学术头条_2024-05-22「转」_Hinton万字访谈:用更大模型「预测下一个词」值得全力以赴.txt

是否为广告: 否

处理费用: 0.0151 元