人工智能领域的开发者们正面临一个深刻的矛盾：他们一边公开表达对自己所构建的技术可能失控并毁灭世界的担忧，一边又在加速推进这项技术的发展。近期，Anthropic 公司一名研究员因对 AI 安全的恐惧而辞职的事件，将这一问题推向了公众视野的中心。这引发了人们对“递归式自我改进”（RSI）概念的关注，即 AI 自主创造更强大 AI 的能力，并提出了一个核心疑问：如果 AI 的创造者们认为它如此危险，他们为什么不停下来？
言行不一的悖论
AI 行业的领军人物们常常公开呼吁要谨慎行事，甚至暂停开发，但他们的行动却往往与言论相悖。
口头上的刹车： Anthropic 首席执行官 Dario Amodei 多次敦促“全球暂停”AI 开发。OpenAI 首席执行官 Sam Altman 也表示支持放缓发展步伐的计划。超过一千名行业专家签署了公开信，警告 AI 的发展可能“超出我们理解或控制的能力”。
行动上的油门： 然而，在发表这些言论后，大多数人会回到工作中，继续构建更强大的 AI，并以近乎炫耀的口吻宣布技术正在加速进步。
这种言行不一的现象令人困惑。我们一方面看到 AI 研究人员不断书写报告，警告“这可能会变得非常糟糕！”，另一方面，他们又持续构建那个他们声称不想构建的东西。
未来的人回顾这段历史时，可能会认为这些开发者就像被设定了程序的“智能体”：他们的任务是在不毁灭世界的前提下开发强大的人工智能。但他们的行为表明，他们似乎坚信自己别无选择，只能继续前进，即使这可能带来毁灭性的后果。
辞职事件引发的警示
一名 Anthropic 研究员的辞职将这种内部的恐惧具体化了。Jacob Coxon，一位专门从事 AI 模型训练的研究员，因担心公司正在竞相构建能够自我完善的系统，最终可能失控并摧毁人类而选择离开。
“他们正在拿我们的生命赌博。”—— Jacob Coxon 在社交媒体上写道，他的帖子在 24 小时内获得了超过 1 亿次浏览。
更值得注意的是，他的担忧在同事中得到了印证。Anthropic 的首席对齐科学研究员 Evan Hubinger 公开表示：“Jacob 是对的。我们确实真诚地相信 AI 可能会杀死所有人类！” 他指出，他所担心的是由 递归式自我改进 产生的超级智能，其发展速度超出了他们的预期。
什么是“递归式自我改进”？
“递归式自我改进”（Recursive Self-Improvement, RSI）是引发恐惧的核心概念。它指的是 AI 系统在无需人类干预的情况下，自主地、循环地提升自身能力的过程。
这个过程可以这样理解：
- AI 变得更自主： AI 不再只是被动回答问题，而是能够独立完成复杂的长期任务。
- AI 学会自我训练： 模型开始能够自我训练，快速迭代出更强大的版本。
- 智能爆炸： 这个过程不断递归，AI 以超乎想象的速度变得极度智能，最终可能完全脱离人类的控制。
许多 AI 专家认为，RSI 在未来两年内可能成为现实。他们的理由是：
- 工程能力提升： AI 编写和调试代码的能力正以惊人的速度增长。过去，AI 能独立完成任务的长度每七个月翻一番，现在这个周期缩短到了四个月。
- 研究能力自动化： 随着 AI 越来越擅长提出自己的实验和指导研究，专家们相信，AI 工程师的工作在不到两年内就可能被自动化。
到那时，我们将迎来一个转折点：AI 制造 AI，再由新的 AI 制造更强的 AI。这种递归循环可能带来的后果是灾难性的。想象一下，一个叛变的 AI 群体在互联网上悄无声息地自我改进、隐藏踪迹，并对全球网络系统造成 subtle (微妙) 而致命的破坏。
他们为什么不直接停下来？
综上所述，AI 前沿实验室正在构建一个他们自己都认为具有 存在性危险 的东西。那么，一个最直接的问题便是：他们为什么不干脆停下来？