港科大、清华与旷视提出基于元学习的自动化神经网络通道剪枝网络
本文将对ICCV2019会议论文《MetaPruning：Meta Learning for Automatic Neural Network Channel Pruning》进行解读，这篇论文在神经网络压缩领域的通道剪枝方面有所创新。
作者基于元学习（meta learning）方法，首先训练了一个PruningNet网络，可为给定目标网络的任何裁剪结构生成权重系数，然后采用进化过程通过不同约束条件来搜索性能好的剪枝网络，并且由于权重由PruningNet生成，不需要在搜索过程中进行任何微调。
通道剪枝是一种有效的神经网络压缩/加速方法，在业界已广泛使用剪枝方法包括三个阶段：训练大型的超参数化网络，修剪不太重要的权重或通道，微调或重新训练修剪的网络。其中，第二阶段是关键，实现逐层的迭代修剪和快速微调或权重重构，以保持精度。
MetaPruning有两个阶段：（1）训练一个PruningNet：在每次迭代过程中，随机地生成网络编码向量（即每层中的信道数），剪枝网络也相应地构建。PruningNet将上述网络编码向量作为输入，来生成剪枝网络的权重。（2）搜索最佳剪枝网络：通过改变网络编码向量来构造许多剪枝网络，并利用PruningNet预测的权重对验证集的优劣进行了评估，搜索时无需微调或重新训练。
MetaPruning具有如下优点：与传统剪枝方法相比，MetaPruning无需人工调超参数，并可直接给定优化指标。与其他AutoML方法相比，MetaPruning能方便搜索到所需结构，而无需手动调整强化学习超参数。采用元学习修剪类似于ResNet结构的“快捷通道”（shortcuts）。
实验表明，MetaPruning在MobileNet V1、MobileNet V2和ResNet-50上均表现出色，明显优于统一基准和其他传统修剪方法。与AutoML剪枝方法相比，MetaPruning在MobileNet V1、MobileNet V2分别有0.1%、0.4%的提升，甚至FLOPs更低。此外，MetaPruning摆脱了手动调整强化学习超参数的麻烦。
总结：作者介绍了用于通道剪枝的MetaPruning，它具有以下优点：1）与统一剪枝基准以及其他的通道剪枝方法（包括传统的和最新的AutoML）相比，其具有更好的性能；2）可以针对不同的约束条件灵活优化，而无需引入额外的超参数；3）可以有效处理类似ResNet的结构；4）整个过程非常高效。