该研究通过偏差-方差分解方法分析了前沿人工智能（AI）模型的失败模式。研究发现，随着任务难度和推理链条的增长，模型的失败更多地表现为 不连贯的混乱（方差主导），而非系统性地追求错误目标（偏差主导）。这意味着，未来AI的重大失败可能更像是一场混乱的“工业事故”，而不是经典科幻场景中有意为之的“作恶”。这一发现建议AI安全研究应更加关注训练过程中的偏差问题。
当AI系统失败时，它们会系统性地追求错误的目标，还是会表现得一团糟？
AI失败的两种可能：系统性错误 vs. 一团糟
在AI安全领域，一个核心担忧是超级智能系统可能会执着地追求一个与人类意图不符的目标，即经典的“回形针最大化”情景。然而，存在另一种可能性：AI的失败并非源于系统性的目标错位，而是源于 不连贯性——一种不可预测、会自我破坏、不为任何一致目标进行优化的行为。简而言之，AI可能会像人类一样，因为“一团糟”而失败。
如何衡量“不连贯”：偏差-方差分解
为了量化AI行为的不连贯性，研究采用了经典的偏差-方差框架来分解其错误：
- 偏差 (Bias): 指的是 一致的、系统性的错误。例如，模型总是稳定地得出错误的答案。
- 方差 (Variance): 指的是 不一致的、随机的错误。例如，对于同一个问题，模型每次生成的答案都可能不同，且不可预测。
研究将 不连贯性 定义为由方差导致的错误所占的比例。不连贯性为0意味着所有错误都是系统性的；不连贯性为1意味着所有错误都是随机的。
核心发现
发现1：推理越长，越不连贯
在所有测试任务和模型中，一个普遍的规律是：模型进行推理或采取行动的时间越长，其行为就越不连贯。无论是以推理字符数、智能体行动步数还是优化器步数来衡量，结论都一样。简而言之，模型“思考”得越多，就越不可预测。
发现2：模型规模增大的影响取决于任务难度
扩大模型规模并不总能提升其行为的连贯性。
- 对于简单任务: 更大的模型会变得 更连贯。
- 对于困难任务: 更大的模型会变得 更不连贯，或者连贯性没有改善。
这表明，单靠扩大模型规模无法解决不连贯的问题。随着模型能力增强并被用于解决更难的问题，由方差主导的失败模式依然存在，甚至会恶化。
发现3：“过度思考”会急剧增加不连贯性
研究发现，当模型在处理某个问题时自发地花费了比平时更长的推理时间（即“过度思考”）时，其行为的 不连贯性会急剧上升。相比之下，通过技术手段强制增加模型的推理预算，对连贯性的提升效果却很有限。
为什么AI会表现出不连贯性？
一个关键的理念是：大型语言模型本质上是 动态系统，而非完美的 优化器。当模型生成文本或采取行动时，它是在一个高维空间中进行轨迹演算。我们期望它能像一个优化器那样稳定地朝向一个目标前进，但这需要大量的训练和约束。
让一个通用的动态系统像一个连贯的优化器一样行动是极其困难的。我们不应该想当然地认为AI会自然地成为连贯的优化器，而且这种困难并不会随着模型规模的扩大而自动消失。
为了验证这一点，研究者设计了一个受控实验，训练模型模仿一个优化器。结果发现：
- 规模能更快降低偏差，而非方差。 这意味着，更大的模型能更快地学会“该做什么”，但学会“如何稳定地去做”的速度却要慢得多。“知道”与“做到”之间的差距随模型规模扩大而增加。
对AI安全的影响
这项研究的结果表明，未来AI的失败模式可能更接近于 工业事故，而非有意识地追求我们未曾设定的邪恶目标。
- 复杂任务的失败主要是方差主导。 当顶尖模型在处理需要长链条推理的困难问题时失败，其失败倾向于表现为不连贯，而非系统性错误。
- 规模扩大不等于超级连贯。 扩大模型规模虽然能提升整体准确率，但并不能保证其在困难任务上的行为连贯性。
这一结论改变了AI安全研究的优先次序。如果AI更可能因为“一团糟”而出问题，那么研究重点就应该更多地放在解决训练过程中的问题上，例如 奖励 hacking (reward hacking) 和 目标设定错误 (goal misspecification)，而不是仅仅关注如何约束一个完美的优化器。
当然，不连贯的AI仍然是危险的。工业事故同样能造成巨大伤害。但风险的类型不同，我们的防范策略也应随之调整。