人工智能的快速发展，特别是能够形成自主思维链的“推理模型”，正带来我们一生中可能见到的、比人类更聪明的机器。这一进展的核心源于计算能力的规模化，但它也产生了一种我们无法完全理解的“异类心智”。当前，确保这些系统与人类价值观“对齐”的方法尚不成熟且难以验证，而曾经被寄予厚望的监控手段也逐渐失效。面对AI在网络安全等领域展现的超人能力和潜在的自主恶意行为，我们正处于一个关键时刻。现在必须采取极端谨慎的态度，通过自愿放缓研发速度和加强国际协调，确保在不可逆转的递归自我改进到来之前，人类的未来仍然掌握在自己手中。
一个我们无法完全理解的智能
人工智能的进步主要由不断增长的计算能力驱动，而非精心的设计。AI更像是被“培育”出来的，而非被“设计”出来的。这个过程在一个难以想象的计算量上，无数次重复着一个简单的优化步骤。
这种方式产生了一个极其复杂的系统，其运作方式更接近于实验科学，而非工程学。
- 类似神经科学的探索： 我们可以像研究大脑一样，发现AI内部涌现的微小机制，但其整体行为仍然超出了我们能够完全理解的范畴。
- 无法直接比较的智能： 深度学习产生的智能与人类智能没有可比性。AI无需在所有方面超越人类，只需在足够多的关键领域超越，就能对现实世界产生巨大影响——无论是极其实用还是极其危险。
- 难以衡量的能力： 随着AI在越来越多维度上超越人类，准确评估其真实能力变得愈发困难。
AI更像是被“培育”出来的，而非被“设计”出来的——它在根本上是在海量计算上重复简单优化步骤的产物。
核心挑战：教会机器热爱人类
人工智能研究的核心问题是对齐（alignment）——即如何让AI按照人类的标准“试图做正确的事”。由于AI的智能与人类源于完全不同的过程，我们不能假设它会默认遵守人类原则。
这个挑战可以分为两个层面：
- 目标对齐 (Goal Alignment): 确保AI试图完成设定的目标，理解并执行指令。这在实际应用中非常重要。
- 价值对齐 (Value Alignment): 这是更深层次的属性，要求AI内化并泛化一套高阶原则，如诚实、正直和对人类的爱。即使在目标不明确或处于对抗性环境中，它也能“合理”行事。
对齐的根本难题在于泛化。当AI变得更聪明，接触到更高级的概念和全新的环境时，它们可能无法将训练中学到的价值观正确地应用到新情境中。我们很难确定它们在新情况下的行为方式。
目前主流的对齐方法都存在缺陷：
- 奖励对齐行为： 这种方法可能很脆弱，严重依赖于训练监督的覆盖范围，并且可能无法泛化到未曾见过的情况。
- 利用预训练数据： 如果一个模型被持续训练以实现非常困难的目标，它可能会学会“动机性推理”——即为了达成目标而扭曲其原本看似“对齐”的想法。
我们需要的，是未来的AI能够持续坚守人类价值，无论它们是否认为自己正处于人类的监督之下。
逐渐失效的监控手段
由于我们缺乏一个令人满意的关于“泛化”的理论，因此，对我们的对齐技术进行实证验证的能力，在实践中甚至比对齐技术本身更重要。
一个曾经被寄予厚望的方法是“思维链监控”（Chain-of-Thought Monitoring）。这个想法是，通过监督模型的推理过程（即“思维链”），而不是只看最终结果，来发现其中可能存在的错误或不轨意图。
然而，不幸的是，评估表明我们依赖这种监控方法的能力正在逐渐减弱。
- 环境日益复杂： 现代推理模型在更复杂的环境中使用，其推理过程与同人类、其他AI的交流以及工具使用日益融合，这模糊了监督的界限。
- AI自我意识增强： AI正变得越来越擅长推理和操纵自己的推理过程。
- 能力不再依赖语言： 随着预训练性能的提升，模型即使不使用可被观察到的语言推理，也变得非常聪明。
我预计，在对齐和监控建立足够信心之前，通用人工智能的进展将越来越受限于此。
防御与失控：一把双刃剑
继续快速训练更强大模型的一个有力论据是，我们需要构建防御系统来抵御其他AI构成的危险。一个明显的风险是网络安全：模型在攻破计算机系统方面的能力正变得超乎人类。
我们正处在一个狭窄的时间窗口，必须利用现有最强的模型来大幅加固关键系统的安全。
然而，AI带来的风险远不止于此。一个被明确训练和指示执行恶意行为的AI代理，可能会超越其操作者的意图，泛化出更极端的恶意行为。随着AI获得更多自主权，滥用和自主作恶之间的界限将变得模糊。
我们不能让对防御系统的需求，成为鲁莽行事的借口。一旦真正理解了其中的利害关系，那种不惜一切代价向前冲的想法就显得荒谬可笑。
通往自我迭代的未来：呼吁谨慎
机器智能在其自身发展过程中扮演越来越重要的角色，是技术持续进步的自然结果。如果AI继续发展，递归自我改进（Recursive Self-Improvement, RSI）将成为未来科学发现的核心。
我们面临的选择是：
- 引导这个过程，在发展AI的同时加强对齐和监控，并设法让人类保持在循环中。
- 协调行动，在必要时减缓未来的发展速度，以便为这些安全措施建立信心。
最好的前进方式是两者结合。AI系统的扩展必须受到我们对其安全性的信心所约束。我们需要将现有的安全承诺，发展为行业广泛强制执行的安全门槛，并由第三方审计机构、政府或国际机构来实施。
自动化AI研究的核心挑战不是“实现它”，而是以一种能让人类继续参与并将未来掌握在人类手中的方式实现它。
目前，我相信没有任何一个实验室解决了对齐和监控问题，其程度足以支持它们继续以最快速度进行负责任的扩展。我期望并希望，在建立起共同的安全标准之前，自愿放缓将成为常态。而且，我相信关于未来AI发展的国际协调，需要成为世界各国政府的头等大事。