对于关心人工智能技术进展的读者来说，每年年底来自整个谷歌research团队撰写的年终总结，可谓是必读读物。今天，由谷歌大神Jeff Dean领衔，这份总结虽迟但到。出于知识传播目的，“学术头条”现将全文翻译如下，以飨读者：
在过去的几十年里，我见证了机器学习（ML, Machine Learning）和计算机科学（CS, Computer Science）领域的变化和发展。
早期的方法往往存在某些缺陷导致了失败，然而，通过在这些方法上的不断研究和改进，最终产生了一系列的现代方法，目前这些方法已经非常成功。按照这种长期的发展模式，在未来几年内，我认为我们将会看到一些令人欣喜的进展，这些进展最终将造福数十亿人的生活，产生比以往任何时候都更大的影响。
这篇文章中，我将重点介绍ML中可能产生重大影响的五个领域。对于其中的每一项，我都会讨论相关的研究（主要是从2021年开始），以及我们在未来几年可能会看到的方向和进展。
趋势1：更强大的通用ML模型
研究人员正在训练比以往更大、更有能力的ML模型。
例如，仅在过去的几年中，模型已经在语言领域取得突破性进展，从数百亿的数据tokens中训练数十亿个参数（如，11B参数T5模型），发展到数千亿或上万亿的数据tokens中训练高达数千亿或上万亿的参数（如，密集模型，像OpenAI的175 B参数GPT3模型、DeepMind的280B参数Gopher模型；稀疏模型，如谷歌的600 B参数GShard模型、1.2T参数GLaM模型）。
数据集和模型大小的增加导致了各种语言任务的准确性的显著提高，这可以从标准自然语言处理（NLP, Natural Language Processing）基准测试任务的全面改进中观察到，正如对语言模型和机器翻译模型的神经网络缩放法则（neural scaling laws）的研究预测的那样。
这些先进的模型中，有许多专注于单一但重要的书面语言模式上，并且在语言理解基准和开放式会话能力方面显示出了最先进的成果，即是跨越一个领域的多个任务也是如此。除此之外，他们还表现出了令人兴奋的能力，即仅用相对较少的训练数据便可以泛化新的语言任务。因为在某些情况下，对于一个新的任务，几乎不存在训练示例。
简单举例，如改进的长式问答（long-form question answering），NLP中的零标签学习，以及我们的LaMDA模型，该模型展示出了一种复杂的能力，可以进行开放式对话，并在多个对话回合中保持重要的上下文。
趋势2：ML的持续效率提高
由于计算机硬件设计、ML算法和元学习（meta-learning）研究的进步，效率的提高正在推动ML模型向更强的能力发展。
ML管道的许多方面，从训练和执行模型的硬件到ML体系结构的各个组件，都可以在保持或提高整体性能的同时进行效率优化。这些不同的线程中的每一个都可以通过显着的乘法因子来提高效率，并且与几年前相比，可以将计算成本降低几个数量级。这种更高的效率使许多关键的进展得以实现，这些进展将继续显著地提高ML的效率，使更大、更高质量的ML模型能够以更有效的成本开发，并进一步普及访问。我对这些研究方向感到非常兴奋！
趋势3：机器学习正变得对个人和社区更加有益
随着ML和硅硬件（如Pixel 6上的Google Tensor处理器）的创新，许多新体验成为可能，移动设备能够更持续有效地感知上下文和环境。这些进步提高了设备的可访问性和易用性，同时计算能力也有提升，这对于移动摄影、实时翻译等流行功能至关重要。值得注意的是，最近的技术进步还为用户提供了更加个性化的体验，同时加强了隐私保护。
趋势4：机器学习在科学、健康和可持续发展方面的影响越来越大
近年来，我们看到机器学习在物理、生物等基础科学科的影响越来越大，在可再生能源和医学等领域也有许多令人兴奋的应用。计算机视觉模型对个人和全球问题都有所功效。它们可以帮助医生进行工作，扩大我们对神经生理学的理解，还可以提供更好的天气预报，加快救灾工作。其他类型的机器学习模型能发现减少碳排放和提高替代能源产量的方法，在应对气候变化方面至关重要。
这样的模型甚至可以作为艺术家的创作工具！随着机器学习变得更加强健（鲁棒）和完善，它在的应用潜力继续扩大，有助于解决我们面临的一些最具挑战性的问题。
趋势5：对机器学习有更深入和更广泛的理解
随着机器学习在技术产品和社会中的应用越来越广泛，为了确保它被公平和公正地应用，我们必须继续开发新技术，以确保它惠及更多人。这是我们“负责任人工智能和以人为本技术”（Responsible AI and Human-Centered Technology）研究小组的主要研究重点，也是我们对各种责任相关主题进行研究的领域。
基于用户在线产品活动的推荐系统是研究的重点领域。
由于这些推荐系统通常由多个不同部分组成，理解它们的公平性往往需要深入了解单个部分以及各个部分组合在一起时的行为。最近的研究工作揭示了提高单个部分和整个推荐系统的公平性的方法，有助于更好地理解这些关系。此外，当从用户的隐藏活动中学习时，推荐系统以一种无偏差的方式进行学习。因为从以前用户所展示的项目中直接学习的方法中会表现出很明显的偏差。
并且如果不对这种偏差进行纠正，推荐产品被展示的位置越显眼，它们就越容易被频繁推荐给未来的用户。