最近，大家可能都听说了各种风靡互联网的聊天机器人，它们的背后是GPT模型。作为强大的大语言模型，GPT已经展现出了令人惊叹的实力。写邮件，学英语，帮忙看文献，已然成为了许多人的生活好帮手。但今天我们不是要夸它，而是要展示一个看似很简单的事情，但是GPT却完全无能为力。要解释为什么GPT无法胜任这么简单的任务，我们首先需要从GPT的底层原理——自回归模型开始讲起。
自回归模型能做的事情其实和猜单词类似，GPT在工作的时候就像猜词一样，只是把字母换成了token。GPT会依据给定地语境，在可能的不同输出选项中计算概率，并按照这个概率进行输出。GPT欠缺的两种能力缺少规划，自回归模型每次抽样都是根据当前信息（当前语境），在抽样的过程中对全局缺少规划。反省和修订，自回归模型不具有“反省并修订”的能力。