近日，由清华技术成果转化的公司智谱AI开源了GLM系列模型的新成员——中英双语对话模型ChatGLM-6B，支持在单张消费级显卡上进行推理使用。这是继此前开源GLM-130B千亿基座模型之后，智谱AI再次推出大模型方向的研究成果。与此同时，基于千亿基座模型的ChatGLM也同期推出，初具问答和对话功能，现已开启邀请制内测，后续还会逐步扩大内测范围。
据悉，ChatGLM-6B是一个开源的、支持中英双语问答的对话语言模型，并针对中文进行了优化。该模型基于General Language Model（GLM）架构，具有62亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。ChatGLM-6B使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。
经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B虽然规模不及千亿模型，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。
具体来说，ChatGLM-6B具备以下特点：充分的中英双语预训练；优化的模型架构和大小；较低的部署门槛；更长的序列长度；人类意图对齐训练。不过由于ChatGLM-6B模型的容量较小，不可避免地存在一些局限和不足，包括相对较弱的模型记忆和语言能力；可能会产生有害说明或有偏见的内容；较弱的多轮对话能力。
同时，智谱AI还开启了ChatGLM线上模型的内测。相比起ChatGLM-6B，ChatGLM线上模型的能力提升主要来源于独特的千亿基座模型GLM-130B。它采用了不同于BERT、GPT-3以及T5的GLM架构，是一个包含多目标函数的自回归预训练模型。2022年11月，斯坦福大学大模型中心对全球30个主流大模型进行了全方位的评测，GLM-130B是亚洲唯一入选的大模型。
整体而言，ChatGLM距离国际顶尖大模型研究和产品还有一定差距，GLM团队也在博客中坦言了这一点，并表示将持续研发并开源更新版本的ChatGLM和相关模型。欢迎大家下载ChatGLM-6B，基于它进行研究和（非商用）应用开发。GLM团队希望能和开源社区研究者和开发者一起，推动大模型研究和应用在中国的发展。