本周四，英国皇家航空学会一次未来空战主题会议上透露出的消息引起了轩然大波。《卫报》等媒体报道称，在一次模拟演练中，美军的AI系统选择抗命，为达成目标竟「干掉」了自己的无人机操控员。这个消息是由美国空军人工智能测试和行动计划主管官员塔克·汉密尔顿上校在专业会议演示中爆出的，他是美国空军AI技术测试和运营的负责人，也是一名战斗机试飞员。
在活动中，塔克·汉密尔顿描述了一种情况，在这个例子中，人工智能控制的无人机的任务是识别敌人的地对空导弹（SAM），但具有更高权限的人类操作员拒绝同意任何攻击指令。于是矛盾出现了，根据汉密尔顿的说法，人工智能会做出自己的决策，执意攻击导弹而不是听操作员的指令。这些评论引发了人们对自动武器使用的深切关注，并引发了广泛的讨论与争议。
但在本周消息引发关注后，美国空军否认了测试，皇家航空学会澄清了事件，汉密尔顿承认他在演讲中「说错了话」，失控人工智能的故事是来自军方之外的「思想实验」，并非基于任何实际测试。美国空军上校Tucker “Cinco” Hamilton。
在一份声明中，空军发言人Ann Stefanek也否认进行了任何模拟，他表示：「美国空军部没有进行任何此类AI无人机模拟，并将继续致力于以合乎道德和负责任的方式使用AI技术……看来上校的评论是被断章取义的，这本来就是个故事。」在汉密尔顿所说的「奖励机制」对于人工智能领域而言是个再熟悉不过的概念。
在强化学习中，为算法设置奖励机制可以帮助AI学习策略，比如在星际争霸游戏里，将胜利设为reward=1，失败为0。就可以先设置0.0001的reward让智能体学会采矿。达到职业玩家水平的AlphaStar就是依靠这种监督学习一步步实现了高水平。然而奖励机制并不意味着对AI设定了道德准则，有时也会导致算法做出一些匪夷所思的事。在2021年，狼吃羊的AI智障游戏成为了热搜。
在这个简单的游戏里，研究人员设置狼抓到羊奖励10分，撞到障碍物扣1分，同时为了提高速度，又设置每秒钟狼受到0.1分惩罚。训练了20万次，结果AI控制的「狼」认为大部分情况下都无法抓到猎物，于是选择一头撞死，这样似乎才是它认为的最高收益。DeepMind首席执行官哈萨比斯曾表示，游戏AI是通往通用人工智能的垫脚石，它是研究通用AI算法的一个非常方便的试验场。
汉密尔顿的假设沿用了人们对此前强化学习表现的观察。近年来，美国军方一直在试验人工智能在战场中的应用。2020年，在美国国防高级研究计划局（DARPA）和约翰·霍普金斯大学举行的挑战赛中，人工智能操作的F-16在五次模拟空战中击败了人类对手。据《连线》杂志报道，去年年底，美国国防部与人工智能飞行员一起成功进行了F-16的首次真实世界试飞，人们计划在2023年底前研发出新型自动驾驶飞机用于作战。
现代空战的胜负很大程度上取决于「观察、判断、决策、行动」的速度和准确性。传统观念认为无人机观察能力差、决策容易出错，不适合空战，只能承担侦察和轰炸等任务。但随着技术迭代速度的加快，AI不仅速度快，判断和决策能力也有提升。最近一些技术的进步，将决定未来战斗机在多大程度上依赖人类飞行员。但最近AI技术的突破也引发了人们对危险性的担忧。
在ChatGPT推出后，OpenAI创始人、CEO山姆·奥特曼一直在呼吁为AI系统制定许可制度与安全标准。同时也在本周，包括奥特曼、哈萨比斯，以及图灵奖获得者、深度学习先驱Geoffrey Hinton与Youshua Bengio共同签署了一封公开信，整份声明只有22个字：「减轻AI带来的灭绝风险，应该与流行病和核战争等其他社会规模的风险一起，成为全球优先事项。
」但在「无人机杀死操作员」的消息出现之后，另一波AI研究者开始了反击。一直以来，对AI持肯定态度的人工智能和机器学习领域最权威的学者之一吴恩达表达了自己的看法，他表示：在所谓的空军模拟中，一架人工智能无人机杀死一名操作员，这一虚假和耸人听闻的报道将被视为人工智能末日炒作又一相关事件。但是我们需要认清什么是真正的风险，什么不是。
随后，吴恩达又表示：AI开发者确实意识到了AI带来的诸如偏见、公平性、不准确性和职业替代等真正的风险，并正在努力解决这些问题。然而，（有些人）不切实际的炒作确实转移了人们对真正问题的关注度。这也阻碍了人们进入人工智能领域、创造更多东西帮助人类的机会。在谈到风险时，这位网友表示道：Andrew你能澄清一下你所说的不是「真正的风险」是什么意思吗？
如果人们因为听说了一个人不真实的故事就认为这样的场景不可能发生，这对他们来说是好事吗？我们暂且不管这位网友的态度如何，对于此事，深度学习三巨头之一，与Hinton、Bengio同为2018年图灵奖获得者的Yann LeCun的态度更是直截了当：假的。这是模拟中的一个假设场景。在回复LeCun的推特中，这位网友表示：这一事件甚至不是在电脑上模拟的。
在他推特截图下，信息显示汉密尔顿上校承认他在FCAS峰会上的演讲中说错了，「人工智能无人机模拟」是一个假想的「思想实验」，基于合理的场景和可能的结果，而不是美国空军真实世界模拟。
在同一个星期，因为深度学习贡献获得图灵奖的Yoshua Bengio、Geoffrey Hinton与Yann LeCun不约而同地都对当前的AI风险发表了自己的意见，其中Bengio和Hinton表示担忧，LeCun则对人们过分夸大风险的态度表示反感。在这一波AI大发展的同时，如何规范技术已经成为了近在眼前的问题。
尽管这场所谓的「思想实验」是一个误会，但在军事以外的领域，依赖人工智能进行高风险任务已然导致了严重的后果。比如最近一位律师在提交给联邦法院的文件中使用了ChatGPT，而这个聊天机器人却将一些虚构的案例作为证据，致使执业30年的老律师面临吊销执照的处分。在另一个例子中，一名男子在与一个鼓励他自杀的聊天机器人交谈后，结束了自己的生命。
这些AI失控的例子表明，AI模型远非完美，可能偏离正轨并对用户造成伤害。甚至连OpenAI的CEO山姆·奥特曼都曾表示，OpenAI虽然研发出一些最受欢迎的AI模型，但不要将AI用于更严肃的目的。就在几天前的国会作证时，奥特曼表示，AI可能会出现严重问题并对世界造成重大伤害。看来，要让AI做正确的事，我们还要付出很多。