Yann LeCun 给自回归模型判了死刑，他认为从现在起5年内，没有哪个头脑正常的人会使用自回归模型。Yann LeCun指出，当前整个的机器学习领域都面临巨大挑战。
这场辩论的主题为「Do large language models need sensory grounding for meaning and understanding?」，是近期举办的「The Philosophy of Deep Learning」会议的一部分。
根据辩论PPT来看，Yann LeCun延续了他一贯的犀利风格，直言不讳地指出「Machine Learning sucks!」「Auto-Regressive Generative Models Suck!」。
Yann LeCun认为，当前大部分基于机器学习的AI系统都会犯非常愚蠢的错误，不会推理，也不会规划。相比之下，人和动物能做的事情就多了很多，包括理解世界是如何运作的，能预测自己行为的后果，可以进行无限多步骤的推理链，能将复杂的任务分解成一系列的子任务来规划，更重要的是，人和动物是有常识的，而当前的机器所具备的常识相对肤浅。
在自监督学习中，以GPT家族为代表的自回归大型语言模型（简称AR-LLM）更是呈现越来越热门的趋势。但在LeCun看来，这类模型是没有前途的（Auto-Regressive LLMs are doomed）。因为它们虽然表现惊人，但很多问题难以解决，包括事实错误、逻辑错误、前后矛盾、推理有限、容易生成有害内容等。
LeCun认为有前途的方向：世界模型。
他提出了构建「世界」模型的想法，并在一篇题为《A path towards autonomous machine intelligence》的论文中进行了详细阐述。具体来说，他想要构建一个能够进行推理和规划的认知架构。
这个架构由6个独立的模块组成：配置器（Configurator）模块；感知模块（Perception module）；世界模型（World model）；成本模块（Cost module）；actor模块；短期记忆模块（Short-term memory module）。
LeCun也给出了自己对迈向自主式AI系统步骤的想法：1、自监督学习；2、处理预测中的不确定性；3、从观察中学习世界模型；4、推理和规划。他认为，学习世界的预测模型是常识的基础，几乎所有的东西都是通过自监督学习得来的。
当然，LeCun的想法未必能获得所有人的支持。至少，我们已经听到了一些声音。有人表示，GPT-4已经在LeCun提出的「齿轮问题」上取得了长足的进步，并给出其泛化表现。但这些尝试结果并没有100%的复现可能性，对其智能水平上限的探索还要持续一段时间。