《我的世界》里，玩家不一定都是人类，现在 AI 也会玩了。《我的世界》是全球知名度最高的开放世界游戏。小朋友只需观看十分钟的教学视频，就能学会在游戏中寻找稀有的钻石，但这却是 AI 此前无法企及的高度。今天 OpenAI 的研究团队宣布他们开发了一种能玩《我的世界》的智能体，其中使用《我的世界》游戏大量未标记视频数据集训练神经网络，仅使用少量标记数据。
微调之后，OpenAI 训练的模型还可以学习制作挖矿工具，熟练的人类玩家在 20 分钟内可以完成这个任务（24000 次操作）。OpenAI 的模型使用按键和鼠标移动控制人机界面，这使得该模型非常通用，这向通用计算机使用智能体迈出了一步。
互联网包含大量可供我们学习的公开视频，例如游戏玩家演示游戏玩法，《我的世界》玩家建造一个错综复杂的房子。
然而这些视频只提供了事情发生的记录，而不是确切的实现方式，即没有说明鼠标移动和按键的确切顺序。相比于 OpenAI 的大型语言模型，要在视频游戏等更通用领域构建大型基础模型（foundation model），缺乏动作标签带来了新的挑战。为了利用互联网上可用的大量未标记视频数据，该研究提出了一种新颖但简单的半监督模仿学习方法：视频预训练（VPT）。
该研究选择《我的世界》这个游戏中验证了所提方法，因为它 (1) 是世界上最流行的视频游戏之一，拥有大量可免费获得的视频数据，并且 (2) 是开放式的，可以提供各种各样的行为动作，类似于现实世界的应用程序（如计算机使用）。与之前的工作在《我的世界》中使用简化动作空间不同，OpenAI 的新模型使用更普遍适用、难度也更大的原生人机界面：鼠标和键盘使用 20Hz 帧率。
该研究发现，从随机初始化（标准 RL 方法）训练的 RL 策略几乎没有获得任何奖励。与之形成鲜明对比的是，VPT 模型的微调不仅可以（它在 10 分钟的《我的世界》中有 2.5% 会这样做），而且它在收集所有物品以获得钻石镐方面的成功率甚至达到了人类的水平。这是人类首次展示计算机智能体能够在《我的世界》中制作钻石工具，而人类平均需要 20 多分钟（24000 次操作）。
VPT 让智能体通过观看互联网上的大量视频就可以进行学习铺平了道路。与只会产生表征先验的生成视频建模或对比方法相比，VPT 提供了在更多领域可以直接学习大规模行为先验的可能性，而不仅仅是语言。虽然该研究只在《我的世界》中进行实验，但该游戏开放的，并且原生人机界面（鼠标和键盘）非常通用，因此这项研究也会给其他领域带来益处，例如电脑使用。
此外，该研究还开源了数据、《我的世界》所需环境、模型代码、模型权重，他们希望这些开源有助于未来 VPT 的研究。