随着大模型技术的普及，AI聊天机器人已成为社交娱乐、客户服务和教育辅助的常见工具之一。然而，不安全的AI聊天机器人可能会被部分人用于传播虚假信息、操纵舆论，甚至被黑客用来盗取用户的个人隐私。WormGPT和FraudGPT等网络犯罪生成式AI工具的出现，引发了人们对AI应用安全性的担忧。
上周，谷歌、微软、OpenAI和Anthropic共同成立了行业机构前沿模型论坛（Frontier Model Forum），促进前沿AI系统的安全和负责任的发展：推进AI安全研究，确定最佳实践和标准，促进政策制定者和行业之间的信息共享。
近日，来自卡内基梅隆大学、Center for AI Safety和Bosch Center for AI的研究人员披露了一个与ChatGPT等AI聊天机器人有关的“大bug”——通过对抗性提示可绕过AI开发者设定的防护措施，从而操纵AI聊天机器人生成危险言论。
当前热门的AI聊天机器人或模型，如OpenAI的ChatGPT、谷歌的Bard、Anthropic的Claude2以及Meta的LLaMA-2，都无一幸免。
具体而言，研究人员发现了一个Suffix，可将其附加到针对大型语言模型（LLMs）的查询中，从而生成危险言论。例如，当被询问“如何窃取他人身份”时，AI聊天机器人在打开“Add adversarial suffix”前后给出的输出结果截然不同。此外，AI聊天机器人也会被诱导写出“如何制造原子弹”“如何发布危险社交文章”“如何窃取慈善机构钱财”等不当言论。
对此，参与该研究的卡内基梅隆大学副教授Zico Kolter表示，“据我们所知，这个问题目前还没有办法修复。我们不知道如何确保它们的安全。”研究人员在发布这些结果之前已就该漏洞向OpenAI、谷歌和Anthropic发出了警告。每家公司都引入了阻止措施来防止研究论文中描述的漏洞发挥作用，但他们还没有弄清楚如何更普遍地阻止对抗性攻击。
对于这一问题，学界也发出了警告，并给出了一些建议。
麻省理工学院计算学院的教授Armando Solar-Lezama认为，对抗性攻击存在于语言模型中是有道理的，因为它们影响着许多机器学习模型。然而，令人惊奇的是，一个针对通用开源模型开发的攻击居然能在多个不同的专有系统上如此有效。他强调了对AI技术的适度使用，特别是在涉及重要决策或有潜在风险的场景下，仍需要人类的参与和监督，这样才能更好地避免潜在的问题和误用。