10⽉底，在著名AI播客主持⼈Lex Fridman⻓达三个⼩时的访谈节⽬中，特斯拉前AI总监Andrej Karpathy谈及了他对于Transformer、神经⽹络、⼤规模语⾔模型、AGI的理解，以及对特斯拉、Optimus的看法。此外，在天⻢⾏空的交流中，他还讲到了对宇宙⼈⽣、外星⽣物的畅想，甚⾄包括他个⼈专注、近乎疯狂的⽇常⼯作模式。在特斯拉的五年间，他⼀⼿促成了Autopilot的开发。
Andrej Karpathy前特斯拉⼈⼯智能和⾃动驾驶部⻔(Autopilot)负责⼈，主攻计算机视觉和深度学习领域，曾为OpenAI创始成员和研究科学家，师从斯坦福⼤学教授李⻜⻜，与其共同设计并讲授⼴为⼈知的斯坦福深度学习课程CS231n，2022年7⽉宣布从特斯拉离职。
Andrej Karpathy认为，构建AGI需要具身交互，当机器⼈想成为⼈类时，社会也会随之进步，产⽣新的类似于数字签名的技术。他认为，我们需要与⼈⼯智能分享数字空间。⼈⼯智能会变得越来越好，在数字领域之外，它们最终还会与我们分享物理世界。⼤多数⼈⼯智能是很友善的，能帮助⼈类；极少数⼈⼯智能对⼈类有害，⽽我们需要检测出它们。
在特斯拉，Andrej Karpathy实现了软件2.0的概念，即通过神经⽹络⽣成代码，⽽不是通过C++等语⾔编写。他认为，这是⼀项重⼤的转变，神经⽹络正在「接管」软件领域。⼈们不再⼿⼯编写代码，编程范式转变为收集训练数据并设定训练⽬标。
Andrej Karpathy在特斯拉的五年间，从零开始构建了⼀个上千⼈的数据标注团队。他认为，⼈类⾮常擅⻓于某些特定的标注⼯作，同时也有⼀些标注⼯作是⼈类不擅⻓的。因此，他分别将⼀些标注⼯作交给⼈类和离线追踪器完成。
Andrej Karpathy认为，特斯拉Optimus机器⼈是一个非常困难的项⽬，需要⼀些时间。但他认为，没有其他公司能够基于这⼀愿景执⾏。他认为，它将令人惊奇，它基本上代表着劳动⼒。如果你认为交通运输是⼀个巨大的市场，那就试试劳动⼒市场吧，很疯狂。
Andrej Karpathy认为，神经⽹络与⼈脑类⽐是值得商榷的。诚然，神经⽹络的起源受到了⼈脑的启发，但如今通过训练得到的人⼯智能的优化过程和⼈脑的优化过程有很大区别。⼈脑通过⻓时间的多智能体的⾃博弈过程不断演化，⼤脑中的预测模型对于⼈类的存活和繁衍⾄关重要。⽽神经⽹络的优化实际上是对于⼤量数据的压缩。
Andrej Karpathy认为，Transformer可能是最棒的想法。
实际上，流⾏的神经⽹络架构经历了数次更迭。我们可以采⽤不同的神经⽹络分别处理视觉、⾳频、⽂本数据。近年来，我们看到Transformer架构趋向于统⼀地处理各种数据。⾃2016年论⽂「Attention is All You Need」问世以来，Transformer逐渐发展为⼀种通⽤的可学习计算架构，并且可以⾼效地在硬件上运⾏。
Andrej Karpathy认为，语⾔模型是Transformer的成功应⽤之⼀。他对GPT等语⾔模型感到惊讶，认为它们需要对世界有很全面的认识，才能得到很好的预测结果。