ChatGPT之后，下一代大型语言模型在哪里？
OpenAI首席执行官Sam Altman和Meta AI首席执行官Yann LeCun对未来有不同看法。
ChatGPT的爆火，让大型语言模型受到了人们的关注，然而这些来自不同公司的大型语言模型，像OpenAI的GPT-3、Google的PaLM或LaMDA、Meta的Galactica或OPT等，都是在相同的基本方式上构建的，都是基于Transformer构建的自回归、自我监督、预训练、密集激活模型。虽然各种大模型表现类似惊人的能力，但目前的人工智能远远没有到达其能力的终点。
那么未来大型语言模型的出路在哪里？
下一代大型语言模型根据一些最新的研究结果提出了一些猜想。比如大模型可以产生训练数据用于改善自己；大模型可以核查确认事实；海量稀疏专家模型等。
也许您还没有听说过，人工智能是最热门的新事物。如今，从硅谷到达沃斯，每一位风险投资家、企业家、财富500强首席执行官和记者都在谈论生成人工智能。
对于那些在2022年开始真正关注AI的人来说，他们认为像ChatGPT和Stable Diffusion这样的技术似乎是凭空冒出来，席卷了全球。早在2020年，我们就在本专栏写过一篇文章，预测生成式AI将成为下一代人工智能的支柱之一。至少自2019年GPT-2发布以来，该领域的工作人员已经清楚，生成语言模型有望引发巨大的经济和社会变革。
同样，虽然文本到图像模型去年夏天才引起公众的注意，但自OpenAI于2021年1月发布最初的DALL-E以来，该技术的优势似乎已经不可避免。
出于同样的原因，重要的是要记住，人工智能的当前技术水平远未达到人工智能能力的最终状态。相反，人工智能领域的发展从未像现在这样快速。尽管ChatGPT目前在我们看来令人惊叹，但它只是下一步的垫脚石。
下一代大型语言模型会是什么样子？这个问题的答案已经存在，目前正在人工智能初创公司和研究小组的开发中。本文重点介绍了三个新兴领域，它们将有助于定义生成式AI和LLM的下一波创新浪潮。对于那些希望在这个瞬息万变的世界中保持领先地位的人来说，请继续阅读：
01、可以自己生成训练数据以提高自己的模型
人工智能研究的一条新途径旨在使大型语言模型能够做类似的事情，有效地引导它们自己的智能。如果这些模型一旦经过训练，就可以使用它们从这些来源吸收的所有知识来生成新的书面内容，然后将这些内容用作额外的训练数据来改进自己，那会怎样？初步研究表明，这种方法可能可行且功能强大。
02、能够对自己进行核查的模型
当前使语言模型更准确的工作的核心是两个相关的功能：(1) LLM从外部来源检索信息的能力，以及(2) LLM为他们提供的信息提供参考和引用的能力。
03、海量稀疏专家模型
一种有趣的不同的语言模型架构方法（称为稀疏专家模型）正在形成势头。稀疏模型的定义特征是，它们不会为给定输入激活所有参数，而是只激活那些有助于处理输入的参数。因此，模型稀疏性将模型的总参数计数与其计算要求分离开来。这导致了稀疏专家模型的关键优势：与密集模型相比，它们可以更大且计算要求更低。