AI Debate | 4位PhD大佬激辩“神经网络黑箱”,带你迈向高效模型架构

来源: AI TIME 论道

发布日期: 2021-03-26

本文介绍了AI TIME组织的一场关于“神经网络黑箱”的辩论,邀请了四位PhD大佬参与讨论,探讨神经网络的结构和效率问题。

神经网络是不是黑箱,前提是你看待它的角度是怎样的。如果你把它看成黑箱,意味着不去管每层隐藏层的含义;如果不把它看成黑箱,意味着你尝试将每个隐藏层拆开来看,上一个隐藏层输出变成了下一个隐藏层的输入。有人说黑盒是值神经网络训练步骤黑,有人说是神经层不知道输出什么黑......“一千个人眼中有一千个哈姆雷特”,那么你对“神经网络黑箱”是怎样理解的呢?

当下深度学习如此火热,不时会涌现出各种新型的人工神经网络,想要实时了解这些新型神经网络的架构还真是不容易。其中,神经网络结构搜索(NAS)在这一两年来热度很高,引起很多人兴趣的同时,也产生了不少困惑。NAS研究的难点在哪里?提升模型效率的思路?能够提炼出哪些神经网络结构设计的范式?

本期,AI TIME特别邀请了杜克大学杨幻睿、德州大学奥斯汀分校陈天龙、东北大学李垠桥、麻省理工学院林己,于3月27日(本周六)与大家一起思辨!

杨幻睿,本科毕业于清华大学电子系,现为杜克大学电子与计算机工程系博士四年级学生,师从李海教授和陈怡然教授。杨幻睿的主要研究方向为利用稀疏、量化等方式压缩神经网络模型,以及评估并增强深度学习模型的鲁棒性,以期得到即高效又鲁棒的适用于部署在现实世界中的深度学习模型。

陈天龙,德州大学奥斯汀分校的第三年博士学生,专业是电子与计算机工程,导师是汪张扬老师。本科毕业于中国科学技术大学少年班学院,本科专业是应用数学,和计算机双学位。目前主要研究方向是鲁棒高效的自动化机器学习,稀疏网络,图网络。曾在NeurIPS, ICML, ICLR, CVPR, ICCV, ECCV等顶会上发表工作20余篇。

李垠桥,东北大学自然语言处理实验室18级博士研究生。研究方向为网络结构搜索、语言建模、机器翻译等,同时组织实验室开源项目NiuTensor的系统开发,参与WMT、CWMT等机器翻译评测任务,在ACL、IJCAI、NLPCC等会议期刊发表论文若干,社会学术兼职上担任中国中文信息学会青年工作委员会学生委员,参与ACL、AAAI、CCL等自然语言处理会议审稿工作。

林己,本科毕业于清华大学电子工程系,现在是麻省理工学院电子工程和计算机科学系的博士生,导师为韩松。他的主要研究兴趣是高效率和硬件友好的深度学习算法和系统,以及视觉方面的应用。

UUID: 77513618-bf32-4080-84c1-8b3bdfeee709

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2021年/2021-03-26_AIDebate4位PhD大佬激辩“神经网络黑箱”,带你迈向高效模型架构.txt

是否为广告: 否

处理费用: 0.0031 元