AI踢足球可以有多燃？不好，对方攻到底线了！看我一脚精准拦截、抢球！想抢回去？没门！差点被进了，赶紧回传！好队友，马上来接应了。嘿嘿，被骗了吧。队友无球跑骗过了防守，我当然是赶紧传一个，反杀！怎么样，是不是比你强？DeepMind在强化学习这块总是走在世界前列，上面的演示是他们训练的“双人足球”AI在比赛中的精彩瞬间。基于AI控制的智能体球员不仅动作灵活、敏捷，还掌握了运球、过人、传球等基本技能。
更重要的是，为了赢得比赛，多个智能体之间竟学会了打配合。比如上面红色球员假接传球、真无球跑位的策略，可谓相当机智。整个过程一气呵成，看起来和人类足球运动员几乎没有什么区别。要知道，在还没训练的时候，他们只是一群站都站不稳，三两下就躺倒闹着要休息的熊孩子。但他们还是天赋过人，仅仅经过了三天的训练，他们就学会了比较简单的配合技巧。
完成50天训练后，他们已经能在很精细的水平上完成抢断、接应、分头行动的配合节奏。DeepMind一直尝试用AI来玩一些复杂多变的策略性游戏，以训练出接近人类智力水平的智能体。在足球运动中，团队协作是智能体训练面临的最大挑战，它不仅要对足球规则、技巧十分娴熟，还要对赛场上的局势，队友和对手的位置、以及目标有更好的理解，以做出更理性的决策。
DeepMind表示，此次升级的AI智能体训练出了对他人的“意识”，能够在更大的时空维度上，与队友协同配合完成更复杂的作战策略。在发布演示视频的同时，DeepMind也分享了这篇名为“From Motor Control to Team Play in Simulated Humanoid Football”的技术论文。
在这篇论文中，研究人员通过仿真人形模拟足球运动，提出了将模仿学习、单智能体和多智能体强化学习与群体训练相结合的方法，并在不同抽象层次上利用行为的可转移表征主导决策。在训练阶段，这个具有全关节的人形智能体球员先是通过模仿学习学会了一些基础动作。紧着掌握了运球、射门等中等水平的足球技能。最后通过毫秒级的运动控制实现了多智能体团队协作，弥合了数十秒范围内行为与目标之间的差距。
从个体行为发展到相互协调的团队战术（从移动，到配合防守、定位和传球），研究人员将现有的AI技术与体育分析技术相结合，定量分析了球员运动，行为策略以及内部表现。实验表明，比赛的结果与球员的球技呈正相关，也与团队协作策略以及预测对手行为的能力呈正相关，类似于人类对足球运动员的观察，智能体球员对带球运动员，对方得分情况以及运球的意图都有着正确的理解。
需要说明的是，本文虽然仅提供了该框架在足球游戏中的演示，但它的基本原则是通用的，也就是说，该智能体框架也适用于其他需要团队协作的场景或领域。