文心一言部分回答截图自文心一言测试页面自3月16日百度新一代知识增强大语言模型“文心一言”开启邀请测试后，连日来人们逐渐对其超出预期的表现刮目相看。尤其在类似上述“只有中国人看得懂”的问答中，文心一言的表现超过了ChatGPT和GPT-4。文心一言是如何炼成的？在它背后有哪些技术加持？近日，百度首席技术官王海峰对文心一言所应用的技术及其特性和背靠的技术积累一一作了解读。
新一代知识增强大语言模型文心一言，是在百度ERNIE及PLATO系列模型基础上研发的，具有对话交互、内容创作、知识推理、多模态生成等能力。王海峰介绍说，支撑文心一言的关键技术包括有监督精调、人类反馈的强化学习、提示、知识增强、检索增强和对话增强。王海峰介绍，文心一言的知识增强主要有“知识内化”和“知识外用”两种方式。文心一言的检索增强则来自以语义理解与语义匹配为核心技术的新一代搜索架构。
在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，从而更好实现对话的连贯性、合理性和逻辑性。文心一言还融合了不同类型的数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。
此外，百度构建了面向中文、服务应用、富含知识的多样化训练数据，对文心一言进行有监督精调，使其掌握的知识更精准，更懂中文和应用场景。文心一言将变得越来越好。王海峰说，文心一言开放测试后，将迅速建立起人类反馈、奖励模型和策略优化之间的“飞轮”机制。随着真实用户的反馈越来越多，文心一言的效果会越来越好、能力会越来越强。
百度早在2019年就发布了文心大模型ERNIE 1.0，如今已从最初的自然语言处理（NLP）大模型发展成为跨语言、跨模态、跨任务、跨行业的大模型平台。王海峰认为，文心一言是百度多年技术积累和产业实践的水到渠成。百度是全球范围内少有的在IT四层技术栈架构中，每一层都有领先技术的公司。
从高端芯片“昆仑”到“飞桨”深度学习框架，再到“文心”预训练大模型，以及搜索、智能云、自动驾驶、小度等各类应用，百度在各个层面都有领先业界的自研技术。王海峰指出，框架层和模型层之间有很强的协同作用，可以帮助构建更高效的模型，并显著降低成本。正是飞桨深度学习平台和文心大模型的联合优化，为文心一言提供了坚实的技术支撑。
值得一提的是，超大规模模型的训练和推理给深度学习框架带来很大考验，为了支持千亿参数模型的高效分布式训练，百度飞桨专门研发了4D混合并行技术。在推理部署方面，飞桨支持大模型高效推理，并提供服务化部署能力。王海峰强调，正是有赖于飞桨深度学习平台的支撑，今天的文心一言效果更好、效率更高、性能更强。
王海峰说，回顾前几次工业革命，可以发现机械技术、电力技术、信息技术等通用性强的技术，会在工业大生产阶段真正发挥价值。AI也一样，目前其技术在不断进步、应用越来越广泛，接下来如何在工业大生产阶段发挥价值，“是我们追求的目标”。“但是，正如人造卫星永远不会和月球这样的自然卫星画等号一样，我个人认为，AI永远不会直接跟人类的智能完全画等号。
”王海峰告诉《中国科学报》，不断进步的人工智能体会模仿人的许多能力如学习、理解和思维，但AI始终不是人类智能。“我们研究AI是在研究用技术手段来模拟、延伸和拓展人的智能，最终目的是为人类带来更先进的科技，服务于人类更美好的生活和社会的发展。
”王海峰说，“当你发现AI在很多领域都达到甚至超越人类水平的时候，你可以认为它在一定程度上已经实现了AGI，但是，我们也可以不关心这个概念本身，而是关心它为人类带来的价值。”