人工智能（AI）的安全问题，正以前所未有的关注度在全球范围内被讨论。日前，OpenAI联合创始⼈、⾸席科学家Ilya Sutskever与OpenAI超级对⻬团队共同领导⼈Jan Leike相继离开OpenAI，Leike甚至在X发布了⼀系列帖⼦，称OpenAI及其领导层忽视安全⽽偏爱光鲜亮丽的产品。这在业界引起了⼴泛关注，在⼀定程度上凸显了当前AI安全问题的严峻性。
5⽉21⽇，图灵奖得主Yoshua Bengio、Geoffrey Hinton和姚期智联合国内外数⼗位业内专家和学者，在权威科学期刊Science上刊⽂，呼吁世界各国领导⼈针对AI⻛险采取更有⼒的⾏动，并警告说，“近六个⽉所取得的进展还不够”。他们认为，AI的⽆节制发展很有可能最终导致⽣命和⽣物圈的⼤规模损失，以及⼈类的边缘化或灭绝。
在他们看来，AI模型的安全问题，已经上升到⾜够威胁⼈类未来⽣存的⽔平。同样，AI模型的安全问题，也已经是可以影响每⼀个⼈、每⼀个⼈都有必要关⼼的话题。
5⽉22⽇，注定是⼈⼯智能史上的⼀个重⼤时刻：OpenAI、⾕歌、微软和智谱AI等来⾃不同国家和地区的公司共同签署了前沿⼈⼯智能安全承诺（Frontier AI Safety Commitments）；欧盟理事会正式批准了《⼈⼯智能法案》（AI Act），全球⾸部AI全⾯监管法规即将⽣效。再⼀次，AI的安全问题在政策层⾯被提及。
⼈⼯智能⾸尔峰会“宣⾔”在以“安全、创新、包容”为议题的“⼈⼯智能⾸尔峰会”（AI Seoul Summit）上，来⾃北美、亚洲、欧洲和中东地区的16家公司就AI开发的安全承诺达成⼀致，共同签署了前沿⼈⼯智能安全承诺，包括以下要点：确保前沿AI安全的负责任治理结构和透明度；基于⼈⼯智能安全框架，负责任地说明将如何衡量前沿AI模型的⻛险；建⽴前沿AI安全模型⻛险缓解机制的明确流程。
图灵奖得主Yoshua Bengio认为，前沿⼈⼯智能安全承诺的签署“标志着在建⽴国际治理制度以促进⼈⼯智能安全⽅⾯迈出了重要⼀步”。作为来⾃中国的⼤模型公司，智谱AI也签署了这⼀新的前沿⼈⼯智能安全承诺，完整签署⽅名单如下：对此，OpenAI全球事务副总裁Anna Makanju表示，“前沿⼈⼯智能安全承诺是促进更⼴泛地实施先进AI系统安全实践的重要⼀步。
”Google DeepMind总法律顾问兼治理主管Tom Lue说道，“这些承诺将有助于在领先开发者之间建⽴重要的前沿AI安全最佳实践。”智谱AI⾸席执⾏官张鹏表示，“伴随着先进技术⽽来的是确保AI安全的重要责任。”日前，智谱AI也受邀亮相AI顶会ICLR 2024，并在题为“The ChatGLM's Road to AGI”的主旨演讲中分享了他们针对AI安全的具体做法。
他们认为，超级对⻬（Superalignment）技术将协助提升⼤模型的安全性，并已经启动了类似OpenAI的Superalignment计划，希望让机器学会⾃⼰学习、⾃⼰判断，从⽽实现学习安全的内容。
他们透露，GLM-4V即内置了这些安全措施，以防⽌产⽣有害或不道德的⾏为，同时保护⽤户隐私和数据安全；⽽GLM-4的后续升级版本即GLM-4.5及其升级模型，也应当基于超级智能（Superintelligence）和超级对⻬技术。
我们也发现，在⼀篇近期发表的论⽂中，智谱AI、清华团队介绍了⼀种通过利⽤⼤量⾃⽣成的否定词⽽实现的⽆反馈（feedback-free）⼤型语⾔模型对⻬⽅法——Self-Contrast。据论⽂描述，在只有监督微调（SFT）⽬标的情况下，Self-Contrast就可以利⽤LLM本身⽣成⼤量不同的候选词，并利⽤预先训练的嵌⼊模型根据⽂本相似性过滤多个否定词。
论⽂链接：https://arxiv.org/abs/2404.00604在三个数据集上进⾏的直接偏好优化（DPO）实验表明，Self-Contrast可以持续⼤幅超越SFT和标准DPO训练。⽽且，随着⾃⽣成的负样本数量增加，Self-Contrast的表现也在不断提⾼。总的来说，这⼀研究为偏好数据缺失情况下的对⻬（如RLHF⽅法）提供了⼀种新的⽅法。
在偏好数据标注代价昂贵且难以获得的情况下，可以利⽤未标注的SFT数据构建语法偏好数据，通过增加负样本的数量来弥补因正样本不⾜造成的性能损失。
欧盟理事会正式批准《⼈⼯智能法案》同⽇，欧盟理事会也于同⽇正式批准了《⼈⼯智能法案》（AI Act），这是全球⾸部AI全⾯监管法规，这⼀具有⾥程碑意义的⼈⼯智能法规将于下⽉⽣效，⽬前仅适⽤于欧盟法律范围内的领域，或将为商业和⽇常⽣活中使⽤的技术设定⼀个潜在的全球基准。
“这部具有⾥程碑意义的法规是世界上第⼀部此类法规，它解决了⼀个全球性的技术挑战，同时也为我们的社会和经济创造了机遇，”⽐利时数字化⼤⾂Mathieu Michel在⼀份声明中说。这⼀综合性的AI⽴法采⽤“基于⻛险”的⽅法，意味着对社会造成伤害的⻛险越⾼，规则就越严格。例如，不构成系统性⻛险的通⽤⽬的AI模型将承担⼀些有限的要求，但那些具有系统性⻛险的则需要遵守更严格的规定。
对违反《⼈⼯智能法案》中⾏为的罚款，该法案设定为违规公司前⼀个财年全球年营业额的百分⽐或预定的⾦额，以较⾼者为准。如今，⽆论是⼩到科技公司，还是⼤到政府机构，都已经将预防、解决AI安全问题提上⽇程。正如⽜津⼤学⼯程科学系教授Philip Torr所⾔：“在上⼀次⼈⼯智能峰会上，全世界⼀致认为我们需要采取⾏动，但现在是时候从模糊的建议转变为具体的承诺了。”