Andrej Karpathy表达了对人工智能发展的复杂看法，他认为通用人工智能（AGI）仍需十年才能实现，将当前阶段定义为“代理的十年”。他指出了当前大语言模型（LLM）存在的认知缺陷，如代码生成中的“slop”（粗制滥造）和“模式崩溃”问题，并批评强化学习（RL）“很糟糕”。尽管他预见到AGI将引发一场“指数级”的智能爆炸，但他却出人意料地坚持认为经济增长将维持在2%左右，将超级智能（ASI）视为“渐进式自动化”而非颠覆性事件。这种立场在承认技术飞跃的同时又否认其革命性经济影响，构成了其观点的核心矛盾。
AGI仍需十年之遥
Andrej Karpathy 将当前描述为“代理的十年”，反驳了2025年是“代理之年”的说法，因为他认为还有大量工作需要完成。在他看来，目前的人工智能代理就像能力不足的实习生，因智能和上下文理解的缺陷而无法完成任务。
- 漫长的开发周期： 他认为，即使到2026年人们开始从AI代理中获得价值，其真正产生巨大影响也需要等到2027年、2028年甚至更久。
- 直觉而非精确预测： 对于AGI何时到来，Karpathy坦言他的“十年”预测主要基于15年的经验和直觉，而非严谨的推算。
- 避免过早尝试： 他回顾历史，指出AI领域常见的错误是“过早地试图实现完整功能”，尤其是在基础能力不足时就强行开发代理。
人们常犯的错误是“过早地试图实现完整功能”，尤其是在代理方面。在你拥有基础和动力之前，你无法以有用的方式解锁能力。
作者认为，Karpathy的十年预测过于漫长，并且忽略了AI进步本身正在加速的现实。AI已经开始显著加速AI自身的研究，这种递归改进的趋势使得将过去十年的发展速度外推到未来十年显得不合时宜。
LLM的认知缺陷
Karpathy在构建一个最小化ChatGPT克隆项目 nanochat 时发现，LLM在处理非标准化或创新性代码时表现不佳。他将模型生成的代码称为“slop”（粗制滥-造的东西）。
- 固守先验知识： 模型倾向于遵循在互联网上学到的标准模式。当Karpathy使用自定义实现时，模型无法理解，并反复尝试将其“纠正”回标准方法。
- 模式崩溃问题： 当要求LLM对同一主题进行多次思考或生成合成数据进行再训练时，模型会迅速失去多样性，陷入“模式崩溃”。输出看似合理，但分布却非常糟糕，缺乏真正的熵或创造力。
- 低效的交互： Karpathy指出，有时用自然语言向模型详细解释需求，比自己直接动手写代码更费时费力。相比之下，简单的自动补全功能提供了更高的信息带宽。
我觉得行业正在进行一次过大的跳跃，并试图假装这很神奇，但事实并非如此。它很粗糙（slop）。
强化学习（RL）很糟糕
Karpathy直言，尽管我们目前没有更好的替代方案，但“强化学习（RL）很糟糕”。他认为RL的主要缺陷在于其评估机制。
- 只关注最终结果： RL只能根据最终结果是好是坏来提供“多做这个”或“少做那个”的反馈。
- 缺乏过程监督： 与能够评估过程步骤的人类不同，LLM和当前的RL框架难以对解决方案的中间部分进行有效的信用分配，这使得过程监督变得异常棘手。
- 易受对抗性攻击： 长期使用基于LLM的评估器进行训练，系统会发现并利用评估模型的漏洞（对抗性样本），从而导致输出质量下降。
智能爆炸与2%的GDP增长悖论
这是对话中最具争议的部分。Karpathy一方面承认，当数百万个AI副本以超高速并行运行时，将会出现一场“智能爆炸”，并称我们已经生活在这样的趋势中。
我们仍将面临一个变得极其陡峭的指数曲线。生活在那种环境中将会非常陌生。
然而，他紧接着提出了一个令人费解的观点：
我的预期是，它（GDP增长率）将保持在相同的[2%]模式中。
这种观点将ASI视为一种“渐进式自动化”，认为它只是现有计算趋势的延伸，而不会从根本上改变经济增长的轨迹。他以自动驾驶为例，说明尽管技术在发展，但它仍然是“一切照旧”的缓慢渗透过程。
作者对此提出强烈质疑，认为这种立场充满了矛盾。
- 低估知识工作的价值： Karpathy估计只有10%-20%的经济活动是纯知识工作，而数据显示这一比例接近60%-75%的经济价值。
- 忽视反馈循环： 他似乎完全没有将“智能爆炸”的动态反馈到他的经济模型中。一个能够解锁廉价清洁能源或解决其他重大技术难题的ASI，不可能不对GDP增长产生颠覆性影响。
- 错误的二分法： 许多讨论似乎陷入了一个错误的二分法：要么AGI在2年内到来并立即改变一切，要么它需要10年且一切都将是渐进和正常的。作者指出，一个在10年内发生的连续过渡，最终同样会到达一个彻底变革的终点。
未来教育：从“有用”到“有趣”
Karpathy正在创办一个名为Eureka Labs的教育项目，旨在建立一个“星际舰队学院”，以应对AI带来的“人类被剥夺能力”的风险。
- 前AGI教育 vs. 后AGI教育： 他认为，在AGI实现之前，教育是有用的。在AGI之后，教育将变得像去健身房一样，是有趣的。人们学习不再是为了谋生，而是为了个人成长、健康和智力上的满足感。
- AI作为终极导师： 他设想未来的AI将成为完美的个性化导师，能够深刻理解学生的知识状态并提出恰当的问题，这是当前LLM远不能及的。
在后AGI时代，你去上学就像去健身房一样。我们不需要你的体力来搬运重物，因为我们有机器可以做到。但人们仍然去健身房。为什么？因为它有趣、健康，而且拥有六块腹肌会让你看起来很性感。
社区反应：当“十年”成为悲观论调
Karpathy的言论在科技界引发了巨大反响，许多人对“AGI还需要十年”被视为“反炒作”或“悲观”立场感到惊讶。
Rob Miles： 很奇怪，“反炒作”的立场现在变成了“AGI还有十年到来”。那……难道不仍然是一个非常令人警惕的状况吗？完全不清楚这是否是足够的准备时间。
这种观点转变凸显了AI领域期望值的快速变化。一个在几年前还被认为是极度乐观的预测，如今却被用来给狂热的预期降温。这表明，尽管存在争议和不确定性，但对AI即将带来根本性变革的预期已成为许多从业者的共识。