人工智能算法将很快迎来快速自主发展的临界点，这威胁到我们控制它们的能力，给人类带来极大的潜在风险。
谷歌顶尖的人工智能科学家，著名的“人工智能教父” Geoffrey Hinton 在今年四月离职谷歌后终于说出了自己的想法，并警告这一技术的危险性。他不是唯一为此担忧的人。2023 年的一项人工智能专家调查结果发现，36% 的调查对象担忧人工智能的发展可能引发“核武器级别的灾难”。
将近 2.8 万人签署了来自未来生命研究所的公开信，签名者包括 Steve Wozniak、Elon Musk，以及不少人工智能企业的 CEO 们，还有许多其他杰出的技术专家，他们共同呼吁暂停 6 个月或中止最新人工智能的研发。
作为意识领域的研究人员，对于人工智能的快速发展，我也同样怀抱强烈的担忧，因此也是这封公开信的联合签署人之一。
编者注：该文章发表后不久，非营利组织“人工智能安全中心”于 5 月 30 日在其官网发布联名公开信，对人工智能给人类构成的生存威胁发出警告。目前已有超过 350 名人工智能行业的高管、研究人员和工程师签署了这封公开信，Geoffrey Hinton、Yoshua Bengio、Sam Altman 均在其中。
为什么我们都如此担心呢？一句话：人工智能发展得太快了。关键问题在于，最新型的高级“聊天机器人”或者技术上称为“大型语言模型”在对话方面取得了深刻、快速的进展。伴随着即将到来的“人工智能大爆发”，我们可能将只有一次机会走上正确的道路。如果走错一步，人类可能万劫不复，这绝非夸大其词。
随着进展快速积累，“通用人工智能”有可能很快出现，届时人工智能将有能力自行发展，无需人工干预。例如谷歌的 AlphaZero 人工智能，在首次启动后仅 9 个小时内就学会了下围棋，并且战胜了人类顶级棋手或者其他人工智能玩家。它通过自己和自己对弈上百万次就完成了这一壮举。
我认为 OpenAI 的 GPT-4 是现有的顶尖聊天机器人中最优秀的一个，一支分析了 GPT-4 的微软研究团队在最新的预印本论文中表示其已迸发出“高级人工智能的火花”。测试 GPT-4 的时候，它在美国许多州施行的律师资格统一考试中的表现超过了 90% 的人类考生，远超前一版本 GPT-3.5 取得的结果（超过了 10% 的考生），不过 GPT-3.5 的数据集训练规模更小一些。
他们还发现，在十几个其他标准化测试中 GPT-4 也取得了相同程度的进步。
大部分这类测试都是推理能力测试，正因如此，Bubeck 团队才会得出结论说 GPT-4 “可以被合理视作 AGI 系统的早期（但仍不完全）版本。”这种变化速度也是 Hinton 跟《纽约时报》这么说的原因：“看看五年前以及现在的情况。差异明显，而且还在进一步扩大。太可怕了。”
五月上旬，在美国国会就人工智能发展潜力的听证会上，OpenAI 首席执行官 Sam Altman 呼吁监管“至关重要”。人工智能的自主发展可能不超几年就能实现，或者现在就可能已经存在。这会令我们无法知晓人工智能会做出什么事情，我们也不知道该如何控制它们。因为超级智能 AI（被定义为能够广泛超过人类表现）能绕过程序员或任何其他人，操纵人类按其意志行事。
它还有能力一边通过电路连接在虚拟世界内大行其道，一边通过机器人躯体在物理世界为所欲为，这恰恰是我最担心的。
这也就是著名的“控制问题”或者“对齐问题”，几十年来，包括 Bostrom，Seth Baum 和 Eliezer Yudkowsky 等哲学家和科学家一直在研究这个问题，争论非常激烈。我的思路是这样的：我们为什么要期待围棋界的新生儿能打败大师级棋手？我们不该这么期待。
同样地，我们为什么要期待能够控制超级智能 AI？（不，我们无法简单地按个开关就把它关掉，因为超级智能 AI 已经设想到了我们会采取的所有可能行动，从而早先一步下手防止自己被关机。）
还有另外一条思路：超级智能 AI 能够在 1 秒内完成一支 100 名人类软件工程师在 1 年或更久时间内完成的操作。或者我们选择其他任务，例如设计新型飞机或武器系统，超级智能 AI 可能只花 1 秒就设计出来了。一旦人工智能系统被植入到机器人内部，它们就能在真实世界中行动，而不仅限于虚拟（电子）世界，这些机器人具备相同程度的超级智能，当然能够以超越人类的速度复制并更新自身。
在超级智能 AI 成神的道路上，我们植入其中的任何防御或保护措施都会被它们预判并轻松化解。这就是超级智能的意义。我们将无法控制它们，因为我们能想到的一切手段，它们早已都想到了，速度比我们快一百万倍。我们构建的任何防御都于事无补，就好像格列佛轻松甩掉小人国的小人们用来束缚他的细小绳索一样。
还有人争辩说这些大语言模型只是自动机器，不具备任何意识，他们的意思是如果语言模型没有意识，它们就不太能够冲破程序限制获得自由。无论现在还是未来，即便不是所有的语言模型都会有意识，这都无关紧要。作为澄清，我认同在当下它们不太可能具备任何真实的意识，但我仍保留开放态度，因为未来可能会出现新的情况。
无论如何，核弹没有意识，但仍能屠杀数百万民众。同样地，毫无意识的人工智能也能如此，通过多种方式，包括直接（也许不太可能）或操纵人类中间人（可能性更大）来引爆核弹。所以，关于意识与人工智能问题的讨论并不能在很大程度上取代人工智能安全性问题的讨论。
确实，基于 GPT-4 的语言模型以及许多其他模型早已广泛传播。但我们呼吁中止研发任何比 GPT-4 更强大的新模型，如有必要，甚至可以采取强制手段。
训练这些更强大的模型需要大规模的服务器“农场”和能源，我们可以关停这些设备。我的道德告诉我，在明知无法控制人工智能系统的情况下继续创造新系统，这一做法非常不明智，即便在不久的将来也是如此。远见让我们知道何时从危险的边缘撤回，现在正是时候。潘多拉魔盒早已打开，但我们不应该继续下去了。