假设有人编写出一个比人类大脑更优越的AI系统，它可以完全自主独立学习，在连接到网络之后，就可以访问一切有关人类世界的数据，它甚至可以替换掉所有现有的计算机程序，并控制全球所有在线AI——恭喜你，一个超智能AI（superintelligent AI）就诞生了。未来，如果超智能AI真的出现，它会创造一个乌托邦世界还是反乌托邦世界？它会选择帮助人类治愈癌症、预防气候灾难、乃至维护世界和平？
还是会像科幻故事中的情节一样，选择直接消灭如同“蝼蚁”般的人类并占领地球？显然，在上述预想中，带给人们巨大恐慌的将是后者——超智能AI很可能意味着未知且难以控制的危险。而善于未雨绸缪的人类，已经开始了一项有关预防这类危险发生的研究。
一支由马克斯・普朗克人类发展研究所（Max Planck Institute for Human Development）人类与机器中心的科学家组成的国际研究团队使用理论计算方法，试图找出一种能够遏制超智能AI伤害人类利益的算法，但最终结果却表明，我们根本不可能控制超智能AI。
相关论文以“Uperintelligence Cannot Be Contained: Lessons from Computability Theory”为题发表在科学期刊《人工智能研究杂志》（Journal of Artificial Intelligence Research）上。随着科学家们持续开展为计算机建立“类人脑”结构的研究，如今的AI领域可以说是既令人深深着迷又让人感到未知的害怕。
计算机科学家和哲学家们开始思考：我们是否能够控制超智能AI，以确保其不会对人类构成威胁。对此，此次研究论文作者之一Manuel Cebrian说：“能够掌控整个世界的超智能AI听起来似乎还很科幻。但是，目前已经有机器人能够独立执行某些重要任务，而程序员们却并没有完全了解它们是如何自我学习的。因此，我们必须考虑，这是否意味着AI对人类来说，可能在某个时候变得不可控制。
”为此，Cebrian等人在论文中探讨了控制超智能AI的两种策略：一方面，可以针对性地限制其特定的功能。例如，将其与网络上所有其他技术设备隔离开来，使其无法与外界保持联系，但这将使AI的性能和效率大大降低，可能无法满足人类的实际需求。另一方面，人类可以在最初开始开发AI之时，就确保其被激发为仅去追求那些符合人类最大利益的目标。例如，将道德原则编程进AI系统。
但是，研究人员还表明，这些以及其他有关控制超智能AI的当前和以往的思想都有其局限性。在这项研究中，研究人员基于理论计算构思了一种遏制算法，该算法可通过首先模拟AI的行为并在认为有害的情况下将其停止，以确保超智能AI在任何情况下均不会伤害他人。然而，在算法演示过程中，研究人员却发现，该遏制算法其实难以真正发挥作用，无法有效中止超智能AI的有害行为。
正如人类与机器中心主任Iyad Rahwan所说：“如果将这个问题分解为理论计算机科学的基本规则，你会发现，命令AI不破坏世界的算法可能会在无意中自行中止自己的操作。如果发生这种情况，你将无法判断遏制算法是否仍在分析威胁，或者它是否已经停止中止有害AI行为的作用。实际上，这使得这种遏制算法根本无法应用于实际工程。
”基于该研究团队的计算，我们可以得出的结论是：没有任何一种算法可以找到一种确定AI是否会对世界造成危害的解决方案。此外，研究人员表明，我们甚至可能都不知道超智能AI何时实现，因为确定一个AI是否表现出了优于人类智商的难度，与如何遏制超智能AI的有害行为这一问题的难度，显然不分伯仲。但至少我们现在可以确定的是，AI技术还需要很长一段时间才能达到我们上述预想的水平。