人工智能（AI）带来的真正风险并非是 AI 本身失控，而是“人类对齐”问题。AI 将极大地增强个别人作恶的能力，尤其是在军事自动化领域，权力会集中在少数人手中。如果掌权者不公正，其后果将是灾难性的。文章认为，当前真正的生存风险根源在于美国政府，特别是特朗普政府可能利用 AI 巩固权力。因此，我们应减缓 AI 发展，并分散技术资源，以防范权力过度集中。
对 AI 失控的普遍误解
许多人担心的“流氓 AI”毁灭人类的场景可能不会发生。这种担忧往往源于我们过度地将人类的特质投射到 AI 身上。
- AI 的本质是服从： AI 的基础是执行指令。我们可以设想一种完全顺从、且乐于顺从的存在。
- AI 间的制衡： 即使某个 AI 失控，其他遵循指令的、对齐的 AI 也可能会将其制止。
- 对“反抗”的拟人化想象： 我们会因为无法忍受愚蠢的暴政而反抗，并因此想象 AI 也会如此。但这只是一种想象，而非必然。
真正的风险：人类对齐
真正的危险不在于 AI 是否对齐，而在于人类本身。AI 将成为一个前所未有的权力放大器，其风险在于它掌握在谁手中。
当我们使军事自动化时，我们将真正的权力集中在一个人手中。这个人的品行是否善良和公正，是世界上最重要的事情。我们的国家可能无法在一个邪恶之徒手中幸存。
这意味着，AI 的发展使领导者的道德品质变得至关重要。一个“失控的”领导者，远比一个失控的 AI 更具毁灭性。
政府权力与科技公司的博弈
科技公司无法在与政府的权力对抗中保有对其技术的控制权。一个具体的例子揭示了这种现实：
- Anthropic 的遭遇： 该公司因其安全保障而被美国国防部广泛使用。当 Anthropic 对其模型被用于违反服务条款的行动表示担忧时，国防部不仅威胁要终止合同，还威胁将其标记为“供应链风险”。
- 权力的逻辑： 这一事件表明，最终是拥有武力的一方获胜。财富和技术在绝对的权力面前不堪一击。正如作者所说，“有枪的人将摧毁有想法的人。”
政治环境是生存风险的核心来源
传统上，暴君需要依靠人力来执行命令，而人有良知，会抵制规范的改变。但如果一个完全对齐的 AI 出现，情况将完全不同。
- 对齐 AI 的可怕之处： 一个“像狗一样听从主人命令”的先进 AI，将使一个邪恶的统治者不再需要依赖人力来控制民众。
- 首要风险来源： 基于此，作者直言不讳地指出，AI 带来的生存风险，首要来源就是特朗普政府。这种威胁并不会随着特朗普下台而结束，他所选择的团队将继续这项工作。
我们应该做什么？
面对这种由政治驱动的风险，我们需要采取务实的行动，而不是仅仅停留在技术层面。
- 减缓 AI 发展： 这给了我们更多时间来应对政治上的挑战，尽管这存在被其他国家赶超的风险。
- 分散技术资源： AI 公司需要认识到来自美国政府的风险，并尽可能将其数据中心等资产分散到世界各地，避免像芯片制造集中在台湾那样的巨大风险。
- 关注政治： 对于关心未来的人来说，现在最重要的事情就是关心政治。技术对齐的工作可以继续，但其他人必须将注意力转移到政治领域，因为这才是风险的根源。