自2023年3月14日开源ChatGLM-6B以来，GLM系列模型受到广泛关注和认可。特别是ChatGLM3-6B开源以后，开发者对智谱AI第四代模型的开源充满期待。为了使小模型（10B以下）具备更加强大的能力，GLM技术团队进行了大量探索工作。经过近半年的探索，我们推出了第四代GLM系列开源模型：GLM-4-9B。
在预训练方面，我们引入了大语言模型进入数据筛选流程，最终获得了10T高质量多语言数据，数据量是ChatGLM3-6B模型的3倍以上。同时，我们采用了FP8技术进行高效的预训练，相较于第三代模型，训练效率提高了3.5倍。在有限显存的情况下，我们探索了性能的极限，并发现6B模型性能有限。因此，在考虑到大多数用户的显存大小后，我们将模型规模提升至9B，并将预训练计算量增加了5倍。
综合以上技术升级和其他经验，GLM-4-9B模型具备了更强大的推理性能、更长的上下文处理能力、多语言、多模态和All Tools等突出能力。GLM-4-9B系列模型包括：基础版本GLM-4-9B（8K）、对话版本GLM-4-9B-Chat（128K）、超长上下文版本GLM-4-9B-Chat-1M（1M）和多模态版本GLM-4V-9B-Chat（8K）。
以下是GLM-4-9B的能力掠影：具体性能如下：基础能力基于强大的预训练基座，GLM-4-9B的模型中英文综合性能相比ChatGLM3-6B提升了40%，尤其是在中文对齐能力AlignBench、指令遵从IFeval、工程代码Natural Code Bench方面都取得了非常显著的提升。对比训练量更多的Llama 38B模型也没有逊色，英文方面有小幅领先，中文学科方面更是有着高达50%的提升。
长文本能力GLM-4-9B模型的上下文从128K扩展到了1M tokens，这意味着模型能同时处理200万字的输入，大概相当于2本红楼梦或者125篇论文的长度。GLM-4-9B-Chat-1M模型在1M的上下文长度下进行了“大海捞针”实验，展现出了出色的无损处理能力。以下两个demo视频案例展示了GLM-4-9B的长文本能力。
多语言能力GLM-4-9B支持包括汉语、英语、俄语、西班牙语、德语、法语、意大利语、葡萄牙语、波兰语、日语、荷兰语、阿拉伯语、土耳其语、捷克语、越南语、波斯语、匈牙利语、希腊语、罗马尼亚语、瑞典语、乌克兰语、芬兰语、韩语、丹麦语、保加利亚语和挪威语在内的26种语言。
为了提升性能，我们将tokenizer的词表大小从65k扩充到了150k，这一改进使得编码效率提高了30%。在多语言能力方面，我们在六个不同的多语言理解和生成数据集上进行了测试，结果显示GLM-4-9B-Chat显著超越Llama-3-8B-Instruct。
Function Call能力ChatGLM3-6B模型的函数调用一直广受各大开发者喜爱。GLM-4-9B模型的函数调用能力更是迎来了巨大的升级，相比上一代提升了40%，在Berkeley Function-Calling Leaderboard上，GLM-4-9B模型的Function Call能力与GPT-4不相上下。
All Tools能力“All Tools”即模型能够理解和使用一系列外部工具（比如代码执行、联网浏览、画图、文件操作、数据库查询、API调用等）来辅助回答问题或完成任务。在1月16日的Zhipu DevDay上，GLM-4模型全线升级了All Tools能力，模型可以智能调用网页浏览器、代码解释器、CogView来完成用户的复杂请求。
多模态能力在强化文本能力的同时，我们首次推出了基于GLM基座的开源多模态模型GLM-4V-9B。这一模型采用了与CogVLM2相似的架构设计，能够处理高达1120 x 1120分辨率的输入，并通过降采样技术有效减少了token的开销。为了减小部署与计算开销，GLM-4V-9B没有引入额外的视觉专家模块，采用了直接混合文本和图片数据的方式进行训练，在保持文本性能的同时提升多模态能力。
在性能方面，GLM-4V-9B模型展现了显著的优势。尽管其参数量仅为13B，但它成功地超越了许多参数量更大的开源模型。在众多任务中，GLM-4V-9B的性能与GPT-4V不相上下。