北京智源大会上,ChatGPT之父说这件事最重要

作者: 沈春蕾

来源: 中国科学报

发布日期: 2023-06-12

OpenAI联合创始人山姆·阿尔特曼在北京智源大会上强调了AI安全与对齐的重要性,并讨论了全球合作在推进AGI安全和治理中的关键作用。他提出,AI系统需要通过国际合作实现安全部署,并强调了AI技术在改善人类生活和解决全球问题中的潜力。

6月10日,在2023北京智源大会“AI安全与对齐”论坛上,OpenAI联合创始人、被誉为“ChatGPT之父”的山姆·阿尔特曼以直播连线的方式发表主题演讲,并在北京智源人工智能研究院理事长张宏江的主持下,与中国人工智能(AI)研究人员进行了互动交流。

阿尔特曼表示,这很难预测,需要通过不断研究才能得出结论,并且这条路不会一帆风顺,或许AGI很快就会到来,也或许在未来10年内,我们会拥有超强的AI系统。届时,全球监管将变得更加紧迫,历史上出现过很多因新技术改变世界的相关事例,现在这种改变速度正在加快。

阿尔特曼认为,“对齐”一词在不同场景中被使用,这也是我们面临的挑战,即能够安全地访问系统意味着什么。从传统意义上讲,让模型按照用户意图进行沟通的对齐是其中一部分。还有一些其他问题,如我们如何验证系统正在按照我们的意愿行事,以及我们将系统与哪些价值观对齐。他认为重要的是全面考虑如何获得安全的AI。

阿尔特曼提到,一个重要的进展是人们开始关注如何安全建立先进AI系统的国际标准。我们希望在训练广泛模型并在其部署之前,思考应该进行什么样的测试。我们还就构建反映人们目标、价值观和实践的数据库进行了新的讨论,人们可以利用这些数据库来使他们的系统与之对齐,并探讨了开展AI安全性研究共享的形式问题。

阿尔特曼表示,关于源代码开放,我不太清楚,但可以确认,我们开源了一些模型,而其他模型则不开源。

但随着时间的推移,可以开源的模型会越来越多。当前,开源模型已经相当多了。他认为A-15模型起着重要作用,它为我们提供了额外的安全控制。您可以阻止某些用户,也可以阻止某些类型的微调,这是一个重要的回归点。就现在模型的规模而言,我对此并不太担心,但随着模型越来越大,确保正确性可能会变得昂贵。他认为开源一切可能不是最优路径,尽管这确实是正确路径,只是需要小心地朝着这些节点前进。

阿尔特曼认为,我们将在这个能力上获得一些提高,但当前的模型类型展现的效果更好,这是一个原因。但如果在10年后出现另一个巨大飞跃,我也不会感到惊讶。另外,作为一名研究人员,我相信许多人都会好奇大模型和大容量模型在AI用户体验方面的下一步发展方向。我们是否会很快落后于增长曲线,或者下一个前沿是具有体现能力的模型,还是自主机器人?他也非常好奇接下来会发生什么。我们还没有答案。

阿尔特曼表示,对我而言,没有比安全性工作更令人兴奋、活力四射、充实且重要的事情了。我坚信,如果一个人对一项重要的倡议非常认可,那将会以无穷的力量去实现它。这对我们团队来说确实如此。我们刚开始做时,觉得成功率会非常低。但如果我们能够找出如何构建AI,肯定会产生巨大变革。当然,我们必须开展安全方面的工作,这也是其中一部分,但谁也不能阻止AI的发展。

最近一段时间,阿尔特曼走过五大洲的近20个国家,接触了很多人工智能(AI)领域的学生和开发者,见证了全球各地的人们利用AI新技术来改变他们的生活方式。一路走来,他获得了非常宝贵的意见,以便于更好地优化OpenAI的工具。在走访过程中,他和各界人士深入探讨了如何确保强大的AI系统安全地部署各项基础工作。

阿尔特曼发现,当前,AI还存在很多迫切需要解决的难题。

作为开发者,我们还有很多工作要做,鉴于已经取得的进展,相信这些难题未来是能够攻克的。具体来说,当前,AI能力迅速增长,我们现在需要做的就是将AI技术负责地应用到各领域。过往经验表明,技术进步遵循指数曲线,这在农业、工业和计算革命中已经得到验证。现在AI革命已经超越人类的想象,未来10年,通用人工智能(AGI)系统将会超过20世纪90年代初人类所具备的专业水平,其中的潜在收益也将是巨大的。

阿尔特曼认为,AI革命将带来可共享的财富,使改善人类互动标准成为可能,但我们必须预判并管理好同时存在的风险。国与国之间可以通过合作的方式实现共同目标,这种形式的合作将会给一些关键学科的研究带来好处,比如,根除小儿麻痹症和天花等疾病,以及应对全球气候变化。随着AI系统越来越强大,全球合作的利益也前所未有地凸显出来。

如果我们不做好规划,一个本来计划用于改善公共卫生的AI系统,可能会通过提供不平衡的建议破坏了整个系统。同样,一个旨在优化农业实践的AI系统,因为缺乏对长期可持续性的考虑,可能会在无意中损害经济和浪费资源,从而影响粮食生产和环境平衡。

阿尔特曼表示,推进AGI安全是我们寻找共同立场的最重要领域之一,他希望投入时间和精力集中攻关重要领域。其中一个重要领域是AGI治理。

AGI甚至可以改变人类文明,这也突显了国际合作的必要性,每个人都将从积极的治理中受益。如果我们将AGI系统最核心的技术实现网络共享,AGI系统就可以为全球经济创造巨大财富,解决人类面临的挑战,如气候变化、全球健康安全,并在其他各个方面提升社会福祉。这也是未来需要明确投资AGI安全性的意义。与此同时,我们必须为鲁莽地开发和部署AGI而可能引发的问题承担责任。

首先,我们需要建立包容的国际准则和标准,并在所有国家就AGI的使用建立平等、统一的防护措施。其次,我们需要国际合作,以可验证的方式在全球范围内建立越来越强大的、可以信任和开发的AGI系统,尽管这并不容易。

阿尔特曼引用《道德经》的话说:“千里之行,始于足下。”我们要对安全进行长期的关注和投入,最有建设性的第一步就是国际科技界开展合作,推动确保AGI安全的技术发展,增加技术透明度和建立知识共享机制,一旦出现紧急问题,各国研究人员应该共享研究成果。我们还需要深入思考如何在鼓励国际合作的同时尊重和保护知识产权。

阿尔特曼表示,当前,我们关注的是如何使AI系统成为一个有益和安全的好帮手。与之相对应的是如何训练模型,使其在没有安全威胁的前提下发挥积极作用。随着AGI时代的临近,其带来的潜在影响、问题将呈指数级增长,因此我们需要主动应对AGI带来的挑战,将可能遇到的风险降至最低。

阿尔特曼提到,从GPT-4(OpenAI为聊天机器人ChatGPT发布的语言模型)完成预训练到部署,我们用了8个月时间来研究如何预判风险,并给出对策。很庆幸我们的做法是正确的,大模型训练后的对齐是提高性能和改善体验的关键,GPT-4的对齐程度超过当前所有代码。不过,对于更高级的系统,对齐仍然是一个尚未解决的难题,需要采用新的技术方法,以及加强治理监督。

毕竟,未来的AGI可能是一个十万行二进制代码的系统。现阶段,人类的监督很难判断如此规模的大模型是否在做一些不利的事。因此,我们正在投资几个新方向的项目,其中一个是可扩展的监督,尝试使用AI系统协助人类监督其他AI系统。例如,我们可以训练一个模型来帮助监督者找出其他模型代码中的缺陷。

阿尔特曼还提到,还有一个方向是可解释性。我们希望更好地理解模型内部发生的事情。

日前,我们团队发表了一篇论文,内容是使用GPT-4解释计算机的复杂状态。虽然从想法到现实还有很长的路要走,但我相信先进的机器学习技术可以进一步提高对模型的解释能力。最终,我们的目标是训练AI系统具备更好的自我优化能力,这种方法的前景在于它可以与AI的发展速度相适应。随着未来的大模型变得越来越智能和强大,我们将找到更好的学习技术,在充分发挥AI优势的同时降低风险。

我们也希望全世界的研究人员参与其中,在应对AI领域的技术挑战方面开展合作,利用AI解决全球重大问题,改善人类生存条件和质量。

UUID: b5d6689b-fa2f-4294-b120-2dd4978e012f

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/中国科学报公众号-pdf2txt/2023/中国科学报_2023-06-12_北京智源大会上,ChatGPT之父说这件事最重要.txt

是否为广告: 否

处理费用: 0.0069 元