大约一年前，微软宣布将向OpenAI投资10亿美元，共同为微软的Azure云平台开发新技术，并进一步扩展大规模人工智能的能力，以兑现AGI(通用人工智能)的“承诺”。作为交换，OpenAI同意将其部分知识产权授权给微软，然后将其商业化并出售给合作伙伴。OpenAI还将在开发下一代计算硬件的过程中，在Azure上培训并运行人工智能模型。一年后，到了兑现承诺的时间了！
前天，在微软Build 2020开发者大会上，微软发布了专为OpenAI打造的超级计算机！微软声称，与TOP 500相比，它排名第五！根据最新排名，它排在中国国家超级计算机中心的天河-2A后面，在德克萨斯高级计算机中心的Frontera前面，这意味着它在峰值时每秒可以执行38.7到100.7万亿个浮点运算！
（即petaflops：每秒千万亿次浮点计算）OpenAI很久以来就表示，巨大的计算能力是迈向AGI或AI的必经之路，AGI可以学习人类能完成的任何任务。然而包括Mila创始人Yoshua Bengio、Facebook副总裁Yann LeCun在内的名人都认为AGI并不存在。
但OpenAI的联合创始人和支持者，其中包括Greg Brockman，首席科学家Ilya Sutskever，Elon Musk，Reid Hoffman和前Y Combinator总裁Sam Altman始终相信，功能强大的计算机结合强化学习和其他技术，可以实现颠覆性的AI技术进步。微软超级计算机的发布代表了OpenAI在这一愿景上的巨大赌注。
这台由Azure托管、OpenAI联合设计的超级计算机包含285,000个处理器内核、10,000个显卡，每个显卡服务器都能达到每秒400吉比特的连接性。它的设计目的是训练单一的大型人工智能模型，这些模型可以从目前自主出版的书籍、指导手册、历史课程、人力资源指南和其他公开资源中汲取数十亿页的文本。
研究表明，这些大型模型表现良好，因为它们能够深入理解语言、语法、知识、概念和上下文的细微差别，使它们能够总结演讲、在实时游戏聊天中调整内容、解析复杂的法律文件，甚至通过搜索GitHub自动生成代码。微软已经使用它的图灵模型——它很快就会以开源的形式出现——来加强对Bing、Office、Dynamics和其他生产力产品的语言理解。
微软声称，在Bing中，这些模型改进了标题生成和问题回答，在某些市场上提高了125%。在Office中，他们表面上推动了Word的智能查找和关键洞察工具的发展。Outlook使用它们进行建议回复，自动生成可能的电子邮件回复。在Dynamics 365 Sales Insights中，他们根据与客户的互动向卖家提出了建议。
从技术角度来看，大型模型更具优势，因为它们是自我监督的，这意味着它们可以通过数据各部分之间的关系来从数据中生成标签——这一步被认为是实现人类智能的关键。这与监督学习算法不同，后者针对人为标记的数据集进行训练，很难针对特定行业、公司或感兴趣的主题对任务进行微调。微软首席技术Kevin Scott在一份声明中说：“这些模型令人兴奋的地方在于，它们能够实现的功能非常广泛。
”无论超级计算机是实现AGI的一小块垫脚石，还是将在实现AGI的道路上突飞猛进，那些用于设计超级计算机的软件工具，都能为微软带来新的市场机会。通过AI规模化计划，这家科技巨头正在提供资源，以优化的方式在Azure AI加速器和网络上训练大型模型。它将训练数据分为几批，用于在集群中训练模型的多个实例，并定期取平均值以生成单个模型。
这些资源包括新版本的DeepSpeed，这是Facebook PyTorch机器学习框架的AI库，可以在同一基础架构上训练大于15倍，快10倍的模型，并支持在ONNX Runtime上进行分布式训练。微软声称，当与DeepSpeed结合使用时，ONNX上的分布式训练，可使跨硬件和操作系统的模型实现高达17倍的性能提升。
微软首席技术官Kevin Scott在一份声明中说：“我们正在建造更好的计算机，更好的分布式系统，更好的网络，更好的数据中心。通过开发用于训练大型AI模型的领先式基础架构，所有这些将使整个Azure云的成本、性能和灵活性更好。”