Synth Daily

2025年终,AI时代的深度思考

到了2025年,业界普遍放弃了大型语言模型(LLM)只是“随机鹦鹉”的看法,转而承认其具备理解和推理能力。这一转变的关键在于链式思维(CoT)强化学习(RL)的结合,它们显著提升了模型生成有用回答的效率。如今,程序员已广泛接纳 AI 辅助编程,而关于未来架构的讨论仍在继续,但现有技术路线被认为有潜力实现通用人工智能(AGI)。最终,人工智能领域未来几十年的核心挑战被认为是避免人类走向灭绝。

“随机鹦鹉”论的终结

多年来,尽管有大量证据表明大型语言模型具备理解能力,但部分研究人员始终坚持认为它们只是随机的概率机器,不理解提示词的含义,也不知道自己要生成什么内容。到 2025 年,这种观点几乎被所有人放弃。

有人声称,是链式思维从根本上改变了大型语言模型的性质,所以他们才改变了看法。他们在撒谎。模型仍然是相同的架构,以相同的“预测下一个词元”为目标,而链式思维正是通过这种方式逐个词元地创建出来的。

关键技术:链式思维与强化学习

链式思维(CoT)已成为提升模型表现的基础方法。它的作用主要体现在两个方面:

  • 内部搜索: 通过在上下文中引入与主题相关的信息和概念,模型能够进行一种形式的内部搜索,从而给出更好的回答。
  • 引导收敛:强化学习(RL)结合后,模型学会了如何通过逐个生成词元来改变自身状态,最终导向一个有用的答案。

由于强化学习可以提供可验证的奖励信号,那种认为模型扩展规模会受限于训练数据量的观点已不再成立。在某些任务上,例如优化程序以提高速度,模型理论上可以在清晰的奖励信号下持续取得进步。

AI 编程的普及

程序员对 AI 辅助编程的抵触情绪已大大降低。尽管模型仍会犯错,但它们提供有用代码和建议的能力已经提升到了一个临界点,使得投资回报变得可以接受,越来越多的怀疑论者开始使用它们。

目前,程序员使用 AI 的方式主要分为两类:

  • 将模型视为同事,通过聊天界面进行交互。
  • 将模型视为独立的编码代理

架构的未来:Transformer 与新范式

一些知名科学家认为,类似 Transformer 架构的革命性突破可能会再次发生,并开始组建团队探索替代方案,例如具有显式符号表示或世界模型的架构。

然而,另一种观点认为,当前的 LLM 架构本身就可能足以实现通用人工智能(AGI),而无需等待全新的范式出现。AGI 很可能可以通过多种截然不同的架构独立实现。

ARC 测试:从挑战到验证

ARC 测试曾被认为是衡量模型能力的巨大障碍。但如今,情况发生了变化:

  • 针对该任务优化的小型模型表现良好。
  • 拥有广泛链式思维的大型语言模型也取得了令人印象深刻的成果。

这使得 ARC 测试的角色从一个“反 LLM 测试”转变为对 LLM 能力的一种验证

未来的核心挑战

AI 未来 20 年的根本挑战是避免人类灭绝