AI，从来没有像今天这样，如此广泛地影响着人类的生活，以及给人类带来如此多的担忧和麻烦。像所有以往其他重大技术革新一样，AI的发展亦有两面，一面向善，一面向恶，这也是当前全球各国监管机构开始积极介入的重要原因之一。无论AI技术的发展好似已经是大势所趋、势不可挡，如何让AI在符合人类价值观和伦理的前提下更加安全地开发和部署，是当前所有AI从业者都需要认真思考的问题。
今天，OpenAI的三位联合创始人——CEO Sam Altman、总裁 Greg Brockman、首席科学家 Ilya Sutskever 共同撰文探讨了如何治理超级智能（superintelligence）的问题。他们认为，现在是开始思考超级智能治理的好时机了--未来的AI系统甚至比AGI的能力还要大。
根据我们目前看到的情况，可以设想，在未来十年内，AI将在大多数领域达到超越人类专家的技能水平，并能开展与今天最大公司之一一样多的生产活动。无论是潜在的好处和坏处，超级智能将比人类过去不得不面对的其他技术更加强大。
我们可以拥有一个不可思议般繁荣的未来；但必须管理好风险才能到达那里。考虑到存在风险（existential risk）的可能性，我们不能只是被动地应对。核能便是其中具有这种特性的技术的例子；另一个是合成生物学。同样，我们必须减轻当前AI技术的风险，但超级智能将需要特殊的处理和协调。
我们需要在领先的开发努力之间进行一些协调，从而确保超级智能的开发是以一种既能让我们保持安全又能帮助这些系统与社会顺利融合的方式进行。有许多方法可以实现这一点；世界上的主要政府可以共同建立一个项目，让许多当前的努力成为其中一部分，或者我们可以通过“集体同意”的方式，将前沿AI能力的增长限制在每年一定的速度。当然，个别公司也应该以极高的标准被要求负责任地进行开发。
我们最终可能需要类似于国际原子能机构（IAEA）的机构来监管超级智能的开发；任何超过一定能力（或计算等资源）门槛的努力都需要受到这一国际机构的监督，该机构可以检查系统、要求审计、测试是否符合安全标准、对部署程度和安全级别进行限制等。
我们需要有足够的技术能力来使超级智能安全。这是一个开放的研究问题，我们和其他人正在投入大量的精力。我们认为，允许公司和开源项目在显著能力门槛以下开发模型是很重要的，而不需要我们在这里描述的那种监管（包括繁琐的机制，如许可证或审计）。
最强的系统的治理，以及有关其部署的决定，必须有强大的公众监督。我们相信，世界各地的人们应该民主地决定AI系统的界限和默认值。我们还不知道如何设计这样一个机制，但我们计划做一些试验。我们依然认为，在这些广泛的界限内，个人用户应该对他们使用AI的行为方式有很大的控制权。
在OpenAI，我们有两个基本原因。
首先，我们相信它将带来一个比我们今天所能想象的更好的世界（我们已经在教育、创造性工作和个人生产力等领域看到了这方面的早期例子）。世界面临着很多问题，我们需要更多的帮助来解决它们；这项技术可以改善我们的社会，而每个人使用这些新工具的创造力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。其次，我们相信，停止构建超级智能将是一个具有非直观风险且困难重重的决策。
由于其巨大优势，构建超级智能的成本每年都在降低，构建者的数量也在迅速增加，而且它本质上是我们所处技术路径的一部分，要停止它需要类似于全球监控制度的存在，而即使有这样的制度也不能保证成功。因此，我们必须做到正确无误。