随着人工智能(AI)对话机器人领域的竞争日益激烈,中国科研人员在开发中文AI模型上取得了不少成就。其中领先的中文模型的包括ChatGLM,这个模型的开发者认为其某些能力接近ChatGPT,在中文上的表现甚至超过了ChatGPT。5月9日在奥地利维也纳召开的国际表征学习大会(ICLR 2024)上,北京清华大学计算机科学家唐杰表示,“可以说,ChatGLM是ChatGPT的替代。
”2022年11月,美国加州旧金山的OpenAI公司发布了面向公众的基于大语言模型(LLM)的对话机器人ChatGPT,LLM随之火爆全球。如今,全球的科技巨头、初创公司和大学都在开发LLM,这类模型能对文字提示给出回答,回答内容很像人类,而且言之有理。不过,虽然ChatGPT和它的许多竞争者能以多种语言回答,但大部分都由美国公司开发,并将英语作为主要语言。
相比之下,ChatGLM是一个双语平台,可以选择中文或英文。鹏城实验室的计算生物学家Wang Yu说:“这是中国的明星模型之一。”鹏城实验室是深圳的一个专注于技术的研究所。清华大学和其技术成果转化公司智谱AI——唐杰称估值超过20亿美元——开发了ChatGLM和其底层模型GLM,GLM是General Language Model(通用语言模型)的缩写。
唐杰说,智谱AI的700多名研究人员和工程师以及约100名清华学生正在参与AI语言模型的研发。GLM项目的规模超出了一些研究人员的预期。“我没想到中国学术界正在开展这么大的项目,”日本理化学研究所(RIKEN)先进智能研究中心主任杉山将(Masashi Sugiyama)说,“我太吃惊了。”说中文的机器人ChatGPT在中国不能使用。但这不是研究人员开发本地替代版本的唯一缘由。
唐杰说,中文LLM能输出更反映中国用户需求和偏好的结果,比如因国家而异的金融和教育信息。他说这就好比用中国而不是西方的社交平台app来训练语言模型。他说:“微信基本上比Snapchat更了解中国人。”专为不同语言设计的模型能防止过度简化或忽视特定语言和文化的独有特征,位于巴黎的开源语言模型平台Hugging Face的社区领导Adina Yakefu说。
为了生成类似人类的回复,LLM需要处理几十亿条句子,从中学习词汇间的统计学关联,这些资源通常来自网络。对话机器人还会基于人类训练者的反馈进一步优化。ChatGLM的开发者会用专门的中文例子来训练它,并让说中文的人提供反馈。ChatGLM有英文和中文界面。来源:ChatGLM仍需深究唐杰说,这些中文数据来自网上,有些是向公司购买的。
目前缺少可公开使用的中文数据集来训练模型,来自海口的Hugging Face工程师王铁震说。开发非英语LLM还面临其他挑战。为了方便分析,大部分语言模型会将文本拆分成名为“词元”(token)的小单位。但中文词语间不用空格来分隔,这让分词(tokenization)变得很复杂,Wang说。但唐杰表示,ChatGLM使用的分词法与英文AI模型使用的几乎一模一样。
在ICLR 2024上,智谱AI用数据表示,ChatGLM底层模型GLM-4的最优版本在多个标准上能达到GPT-4模型(OpenAI的强大模型)得分的90%以内。这其中包括对通用知识、一般常识和数学能力的测试。ChatGLM还在LLM面向中文的一个优化标准上打败了GPT-4。唐杰表示,他们团队很快将发布一份关于GLM-4的技术报告。
加州大学洛杉矶分校的计算机科学家孙怡舟说:“我对他们能和GPT-4达到差不多的水准印象特别深刻。”中国的LLM热ChatGLM网站发布了一个面向公众的中英文界面版本。有些GLM产品——包括更早的GLM-130B基础模型和ChatGLM-6b对话机器人——都是开源的。这表示任何人都能下载并训练它们用于特定场景,科学家也能查看底层代码,研究它是如何运作的。
唐杰说,ChatGLM-6b已被下载1300万次。该模型使用60亿个“参数”——这些参数是捕捉词语间统计学关联的单元,这个模型也是ChatGLM对话机器人中最小的。不过,GLM-4模型和更大版本的ChatGLM(有1300亿个参数)的内部运作方式和ChatGPT和GPT-4一样,是不开源的。中国还在开发的LLM有几十种。
Yakefu说,2023年中国推出了超过100个AI模型,“我们称之为‘百模大战’。”比如科技巨头百度和阿里巴巴都推出了自己的AI对话机器人。中国的LLM需要遵守针对生成式AI系统的监管规定,这些规定自去年8月开始执行,要求这些模型符合社会主义核心价值观,并采取有效措施提升生成式人工智能服务,提高生成式内容的准确度和可靠性等。Yu将中国的规定与其他国家为保障AI系统安全的措施进行了比较。
“在中国,整个国家坚持一定的价值观,”他说,“任何社会都有大家不谈论的内容,每个社会都有这些禁忌。”通用智能唐杰现在主要关注提升ChatGLM和GLM-4的能力。他将当前的系统比作“水中大脑”,因为它无法与世界产生物理互动。让AI系统在各种任务中具有人类的能力——被称为通用人工智能(AGI)的里程碑——就需要它们能在世界中具身化,他说。ChatGLM能成为第一个实现AGI的AI系统吗?
“我不知道,”唐杰说,“我希望我们能成为第一个,但我们还有很多竞争者。”计算机科学家距离开发出AGI有多远,以及LLM是否会是实现AGI的技术,目前正被激烈讨论着。考虑到超智能AI模型对人类的威胁,AGI是否是最理想的目标也众说不一。Yu说:“AGI不是你随随便便说的词。”Yu说,除了AGI,AI系统还有望解决全球变暖和预防下一次疫情等宏大挑战。他说,中国正在大力投入AI基础设施和技术建设。
“我们相信我们有很大的机会能优化整个AI产业,并把这件事做好,”他说,“这不仅能造福中国民众,如果能减少能源消耗和二氧化碳排放,这将造福全人类。”