自AlexNet以来，计算机视觉领域的科研重心由feature engineering，转化为network engineering，各种网络结构层出不穷。然而随着网络设计选择空间的扩大，手动寻找最优的结构设计变得越发困难，系统地对网络结构进行搜索成为神经网络设计的必然发展方向。其实不仅仅是网络结构，最近自动数据增强等方向的发展也证明了超参优化是计算机视觉领域取得SoTA的必备手段。
人脑通常擅长思考模块化的东西，但是对于高维度的搜索空间，人们倾向于grid search，实际上这种做法在超参优化上是非常低效的。如何更加有效地利用科学地搜索算法，以及高效的工具能够让你在新一轮的角逐中领先一步。
为了能够为大家比较系统地了解AutoML，神经网络结构搜索，超参优化等领域，我和来自麻省理工的韩松教授，还有亚马逊的Dr. Cedric Archambeau和Dr. Matthias Seeger等学者一起举办了“From HPO to NAS: Automated Deep Learning” Tutorial，主要内容包括：1、AutoML背景知识和概述 (Cedric Archambeau, Amazon)；2、介绍AutoGluon工具箱 (张航, Amazon)；3、神经网络搜索的前沿OFA Network（韩松, MIT）；4、动手学习部分（@吴冲若，朱力耕@Lyken，唐昊天，Thibaut）。
我认为大家可能对网络结构搜索和超参优化领域有个误区，就是认为这些方法一定“很贵”，所在实验室或者团队资源不足，很难跟上。这可能是因为早年来自谷歌的一些比较开创性的工作都相对“暴力”，然而最新的进展让这些原本很耗资源的领域变得更加高效。
以网络结构搜索为例，近两年来领域内很多工作都极大地加速了搜索过程，比如DARTS，ENAS，ProxylessNAS，FBNet等工作通过复用网络权重参数，交替训练网络结构参数和权重参数的方式，仅需要一次训练就可以搜索到最佳结构，极大地减小了对资源的需求。
自动数据增强（Auto Augment）取得了很好的效果，但是其搜索过程很费资源，最近快速数据增强（Fast AutoAugment）将搜索速度提高了几百倍。所以这些你认为可能“很贵”的领域，可能不再那么耗资源了，而且这很可能是新科研时代的发展方向。
作为一个计算机视觉领域的研究人员，从我自己的角度来看，我需要一个automl工具箱可以弥补我对其他领域理解的不足，比如分布式管理，以及参数优化算法，而这些正是AutoGluon工具箱所提供的：1）“傻瓜式”集群管理，分布式调度；2）通过自定义搜索空间，自动构建搜索算法。
特别是第二点，已有的python代码，只需要添加几行代码就可以定义搜索空间，并且构建搜索算法，这里用的是Bayesian Optimization。想快速了解更多的功能，欢迎看我在tutorial中的20分钟讲解AutoGluon。
我们将在以下时间段进行在线问答，期待你的参与：6月16号，北京时间早上9:00~9:30AM，Zoom直播间https://zoom.us/j/2169400860?pwd=OUttUEY3SEtFN08yMXlJcHI0QU1HZz09#success；6月16号，北京时间晚上11:00~11:30PM，Zoom直播间https://zoom.us/j/2169400860?pwd=OUttUEY3SEtFN08yMXlJcHI0QU1HZz09#success。