人工智能（AI）会让⼈类灭绝吗？这一有关“AI灭绝论”的争论正变得愈发激烈。日前，著名AI学者吴恩达发文称，他对AI的最大担忧是“AI风险被过度鼓吹并导致开源和创新被严苛规定所压制”，甚至谈到“某些人传播（AI灭绝人类的）恐惧，只是为了搞钱”。
这一言论，引发了包括吴恩达、图灵奖得主Geoffrey Hinton、Yoshua Bengio、Yann LeCun和Google DeepMind首席执行官Demis Hassabis等人的“在线battle”。Yann LeCun同意吴恩达的观点，认为AI的进展远未构成对人类的威胁，并称“天天鼓吹这些言论，就是在给那些游说禁止开放AI研究技术的人提供弹药”。
Demis Hassabis则认为，“这不是恐吓。如果不从现在就开始讨论通用人⼯智能（AGI）的风险，后果可能会很严重。我不认为我们会想在危险爆发之前才开始做防范。”
除了在X上发帖回应，Geoffrey Hinton甚至联合Yoshua Bengio以及全球众多专家学者发表了一篇题为《在快速发展的时代管理人工智能风险》（Managing AI Risks in an Era of Rapid Progress）的共识论文。
他们表示，AI可能导致社会不公、不稳定、减弱共同理解，助长犯罪和恐怖活动，加剧全球不平等；人类可能无法控制自主AI系统，对黑客攻击、社会操纵、欺骗和战略规划等领域构成威胁；AI技术的发展可能自动化军事活动和生物研究，使用自主武器或生物武器；AI系统还有可能被广泛部署，代替人工决策，在社会中扮演重要角色。
此外，他们也表示，如果AI技术管理得当、分配公平，先进的AI系统可以帮助人类治愈疾病、提高生活水平、保护生态系统。
在这场争论的背后，涉及到一个被业内频频提及的“关键词”——AI对齐（AI Alignment）。那么，AI对齐是否是一种可行的减缓人类担忧的方法？又该如何做？
AI对齐的“四大原则”近日，来自北京大学、剑桥大学、卡内基梅隆大学、香港科技大学和南加利福尼亚大学的研究团队，联合发布了一篇调查论文，深入探讨了“AI对齐”的核心概念、目标、方法和实践。据论文描述，AI对齐指的是确保AI追求与人类价值观相匹配的目标，确保AI以对人类和社会有益的方式行事，不对人类的价值和权利造成干扰和伤害。
AI对齐的关键目标为四个原则：鲁棒性（Robustness）、可解释性（Interpretability）、可控性（Controllability）、道德性（Ethicality）。这四个原则指导了AI系统与人类意图和价值的对齐。它们本身并不是最终目标，而是为了对齐服务的中间目标。
另外，该研究将当前对齐研究分解为两个关键组成部分：前向对齐和后向对齐。前者旨在通过对齐训练使AI系统对齐，而后者旨在获取有关系统对齐的证据，并适当地管理它们，从而避免加剧对齐不当的风险。前向对齐和后向对齐形成一个循环过程，其中通过前向过程的AI系统的对齐在后向过程中得到验证，同时为下一轮的前向对齐提供更新的目标。在前向对齐和后向对齐中，研究共讨论了四种AI对齐的方法和实践。
这是一个全球普遍关注的议题。目前，生成式AI的伦理和安全治理已经成为全球AI领域普遍关注的议题，各大科技企业纷纷提出了自己的理念，并采取了实际行动。今年7月，OpenAI宣布成立了一个新的超级对齐团队（Superalignment），并动用公司20%的计算资源来应对AI失控问题。
该团队的使命是发展一种自动对齐研究员（automated alignment researcher）系统，首先进行训练以达到大致与人类水平的人工智能研究者，然后利用大规模的计算资源进行快速迭代，最终实现AI的自我监管。
今年9月，Anthropic发布了负责任的扩展政策（Responsible Scaling Policy，RSP），该政策采用了一系列技术和组织协议，旨在帮助管理日益强大的AI系统开发所带来的风险。此外，Google DeepMind的政策团队此前提出了一个模型，该模型考虑了AI系统对人类社会的潜在风险。除了关注模型本身存在的技术性风险，还需要关注由技术滥用所带来的风险。
另外，OpenAI、Anthropic、微软、谷歌也发起成立了一个新的行业组织“前沿模型论坛”（Frontier Model Forum），确保“安全地、负责任地”开发部署前沿AI模型。值得注意的是，除了科技公司，各国政府和组织也在积极寻找对策，参与全球AI治理。在国际范围内，欧盟引入了《人工智能法案》，采用基于风险的方法，对不同程度的AI进行监管要求。
美国则发布了一系列自愿性标准，如《AI风险管理框架》和《AI权利法案蓝图》，重点强调AI的创新和发展，倾向于采用组织自愿遵守的指南、框架或标准等方式进行AI应用的软治理。国内方面，中国发布了《生成式人工智能服务管理暂行办法》，坚持发展与安全并重的原则，鼓励创新与治理相结合，实施了包容审慎和分类分级的监管措施，旨在提高监管的高效性、精确性和敏捷性。
本月初，全球首届AI安全峰会在英国召开，聚集了来自100名各国政府官员、AI企业代表和专家，共同探讨了AI可能带来的风险。28个国家和欧盟一同达成了《布莱切利宣言》，旨在推动全球在AI安全领域的合作。
面向未来，对生成式AI的有效监管和治理，离不开政府、企业、行业组织、学术团体、用户、社会公众等多元主体的共同参与，需要更好发挥出多方共治的合力作用，推进践行“负责任人工智能”（responsible AI）的理念，打造安全可信的生成式AI应用和负责任的AI生态。
未来，实现对生成式AI的有效监管和治理需要政府、企业、行业组织、学术界以及社会公众等多方共同参与，积极践行“负责任人工智能”理念，以构建安全可信的生成式AI应用和负责任的AI生态系统。
最后，援引马斯克在全球首届AI安全峰会的发言，强调“AI对齐”的重要性：“总体而言，AI很有可能会产生积极的影响，并创造一个富饶的未来，那时，商品和服务将不再稀缺。但这多少有点像魔法精灵，如果你有一个可以实现所有愿望的魔法精灵，通常这些故事的结局都不会太好，小心你许下的愿望。”