Hinton最新演讲透露下一代神经网络模型的构想

作者: 徐君

来源: 学术头条

发布日期: 2020-07-28

Geoffrey Hinton教授在SIGIR 2020上提出了下一代神经网络模型的构想,强调了无监督学习的重要性,并介绍了SimCLR方案以提升图像分类任务效果。

2020年7月27日上午,第43届国际信息检索大会(SIGIR 2020)以线上会议的形式开幕。图灵奖获得者Geoffrey Hinton教授作为首位主题演讲者进行了题为“神经网络的新时代(The Next Generation of Neural Networks)”的主题报告。智源社区为这次国际学术盛会提供了线上会议系统,并进行全程直播支持。

报告中,Hinton教授指出:人类大脑有10^14个神经元连接,而生命的长度只有10^9秒,因此人类是无法完全依赖有监督学习的方法完成所有神经元训练,而需要更多来自于无监督学习的帮助,受此启发,构建智能的机器模型也应综合考虑监督与无监督方法进行协同训练。

他首先回顾了无监督神经网络的发展历史,结合从LLE、LRE到t-SNE等表达学习模型的进化历程,指出当前无监督学习方法所面临问题的根源在于过度关注数据的重构损失(Reconstructive Loss),而忽略了对数据间关联关系的捕捉。基于此,他提出了下一代神经网络模型的构想,提出利用对比损失函数(Contrastive Loss)建模样本间的局部关系、增强数据间表达的一致性的解决思路。

最后,他还展示了上述构想的一种具体实现方案SimCLR,应用此方案能够显著提升下游图像分类任务的效果。作为CCF推荐的A类国际学术会议,SIGIR历来都是互联网业内关注的焦点,会议覆盖了信息检索领域相关的各类前沿成果,包括基础理论、算法应用以及评估分析。

接下来,本次会议还将安排包括中科院院士徐宗本教授、ACM Fellow Ellen M. Voorhees博士、Salton Award获得者Norbert Fuhr教授、ACM Fellow Elizabeth F. Churchill博士、澳大利亚科学院院士陶大程教授在内的五位专家学者进行相关主题报告。

UUID: 96c26e40-e64d-49a5-9380-42814b729433

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2020年-下/2020-07-28_Hinton最新演讲透露下一代神经网络模型的构想SIGIR2020.txt

是否为广告: 否

处理费用: 0.0022 元