谷歌 AI 负责人 Jeff Dean 近日接受专访，讨论了 2020 年机器学习领域趋势，他认为在规模更大的多任务学习和多模式学习方面，AI 将取得新的里程碑。而正如谷歌在 Transformer 上的工作引领了 NLP 领域的发展，Jeff Dean 认为应该将重点放在基础研究上。在加拿大温哥华举行的 NeurIPS 2019 会议上，机器学习成为最大的焦点。
来自全世界各地的 13000 名研究人员探索了诸如神经科学、如何解释神经网络输出，以及 AI 如何帮助解决现实世界中的重大问题等。会议上不仅有超过 1400 份作品展示，同时也有各种 AI 的顶级专家、意见领袖等出席并进行演讲。Google AI 负责人 Jeff Dean 在研讨会上进行演讲，讨论机器学习如何帮助应对气候变化带来的威胁以及机器学习如何重塑系统和半导体。
Jeff Dean 认为 Google 和整个 AI 社区都感到非常兴奋，因为这是一个严重的问题，而且背后有很多技术问题。在如今机器学习领域，整体而言是相当多产的，因此也很难说能够面面俱到一应俱全的掌握所有的内容，不过也可以通过搜集一批大家可能认为比较重要的观点（作为一种筛选机制）。
Jeff Dean 认为已经被证明非常有效的一件事情，是芯片的专门化（相对例如通用 CPU 而言）用以执行一些并非完全通用的、某些特定类型的计算。因此，我们已经从更严格的计算模型（例如 GPU 甚至 TPU）中受益匪浅。相对于通用 CPU，这实际上带来了相当多的性能优势，例如我们通过专业化获得了巨大的架构优势。Jeff Dean 提到，他们在某些工作中可以使用机器学习来进行更多自动化的布局和布线。
而且，我们基本上可以拥有一个机器学习模型，该模型可以学习为特定芯片玩 ASIC 游戏。他们在尝试的一些内部芯片上都取得了不错的结果。Jeff Dean 认为诸如多任务学习和迁移学习之类，实际上是可以改善能源使用的相当有效的算法工具，因为你可以训练一个模型，然后对其进行微调，或者针对相对较少的示例进行多任务学习，这几乎是当前的惯例。BERT 之所以有趣，是因为它建立在其他研究成果不断发展的基础上。
因此，BERT 的种类取决于一年前完成的 Transformer 工作。Transformer 工作确实是在解决与基于 LSTM 的早期序列模型相同的问题。他认为整个研究线程在实际产生机器学习模型方面非常富有成果，现在要完成的机器学习模型比过去更复杂。
对在一堆文本（任意文本）上进行预训练的 BERT 的微调，然后对你关心的特定 NLP 任务进行微调，对于许多我们希望能够解决的 NLP 问题来说，是一个很好的范例。因此，在 Google 内部，我们正在研究产品中许多不同类型的应用程序。无论是在 Google 内部还是外部，我们很兴奋。