人工智能已成为某些伦理问题的焦点，但它也存在一些重大的可持续性问题。去年6月，马萨诸塞大学阿默斯特分校的研究人员发布了一份令人震惊的报告，估计训练和搜索某种神经网络架构所需的电力涉及大约626,000磅的二氧化碳排放。这相当于美国平均汽车终身排放量的近五倍，包括其制造过程。这个问题在模型部署阶段变得更加严重，深度神经网络需要部署在具有不同属性和计算资源的多样化硬件平台上。
麻省理工学院的研究人员开发了一种新的自动化AI系统，用于训练和运行某些神经网络。结果表明，通过在某些关键方面提高系统的计算效率，该系统可以减少涉及的碳排放量——在某些情况下，降低到低三位数。研究人员的系统，他们称之为“一次为所有”网络，训练一个包含许多预训练子网络的大型神经网络，这些子网络可以根据不同的硬件平台进行定制，而无需重新训练。
这大大减少了一般为新平台训练每个专用神经网络所需的能量——这可以包括数十亿个物联网（IoT）设备。使用该系统训练计算机视觉模型，他们估计该过程所需的碳排放量大约是当前最先进的神经架构搜索方法的1/1,300，同时将推理时间减少了1.5-2.6倍。“目标是更小、更环保的神经网络，”电气工程与计算机科学系助理教授Song Han说。“迄今为止，搜索高效的神经网络架构一直有巨大的碳足迹。
但我们通过这些新方法将该足迹减少了几个数量级。”这项工作是在IBM捐赠给麻省理工学院的高效计算集群Satori上进行的，该集群每秒能够执行2千万亿次计算。该论文将在下周的国际学习表示会议上展示。与Han一起撰写论文的有来自EECS、MIT-IBM Watson AI实验室和上海交通大学的四名本科生和研究生。
研究人员基于最近的一项AI进展AutoML（自动机器学习）构建了系统，该进展消除了手动网络设计。神经网络自动搜索庞大的设计空间，以定制特定硬件平台的网络架构。但是，仍然存在训练效率问题：每个模型都必须为其平台架构从头开始选择和训练。“我们如何为如此广泛的设备高效地训练所有这些网络——从10美元的物联网设备到600美元的智能手机？鉴于物联网设备的多样性，神经架构搜索的计算成本将会爆炸，”Han说。
研究人员发明了一种AutoML系统，该系统仅训练一个大型“一次为所有”（OFA）网络，该网络作为“母”网络，嵌套了从母网络稀疏激活的极多数量的子网络。OFA与所有子网络共享其所有学习权重——这意味着它们基本上是预训练的。因此，每个子网络可以在推理时间独立运行，而无需重新训练。
团队训练了一个OFA卷积神经网络（CNN）——通常用于图像处理任务——具有多种架构配置，包括不同数量的层和“神经元”、多样化的滤波器大小和多样化的输入图像分辨率。给定一个特定的平台，系统使用OFA作为搜索空间，根据与平台功率和速度限制相关的准确性和延迟权衡找到最佳子网络。例如，对于物联网设备，系统将找到一个较小的子网络。
对于智能手机，它将选择较大的子网络，但根据个人电池寿命和计算资源具有不同的结构。OFA解耦了模型训练和架构搜索，并将一次性训练成本分摊到许多推理硬件平台和资源约束上。这依赖于一种“渐进缩小”算法，该算法高效地训练OFA网络以同时支持所有子网络。它从使用最大尺寸训练完整网络开始，然后逐渐缩小网络尺寸以包括较小的子网络。较小的子网络在较大子网络的帮助下一起训练。
最终，所有不同尺寸的子网络都得到支持，允许根据平台的功率和速度限制进行快速专业化。当添加新设备时，它支持许多硬件设备，训练成本为零。研究人员发现，一个OFA总共可以包含超过10千万亿（即1后面跟19个零）的架构设置，可能涵盖所有需要的平台。但是，训练OFA和搜索它最终比花费数小时为每个平台训练每个神经网络要高效得多。此外，OFA不会在准确性或推理效率上妥协。
相反，它提供了移动设备上的最先进的ImageNet准确性。与最先进的行业领先CNN模型相比，研究人员表示OFA提供了1.5-2.6倍的加速，同时具有更高的准确性。“这是一项突破性技术，”Han说。“如果我们想在消费设备上运行强大的AI，我们必须弄清楚如何将AI缩小到合适的尺寸。”“模型非常紧凑。
我非常兴奋地看到OFA可以继续推动边缘设备上高效深度学习的边界，”MIT-IBM Watson AI实验室的研究员兼论文合著者Chuang Gan说。“如果AI的快速发展要继续下去，我们需要减少其对环境的影响，”IBM研究员兼MIT-IBM Watson AI实验室成员John Cohn说。“开发使AI模型更小、更高效的方法的好处是，这些模型也可能表现得更好。”