Anthropic 首席执行官 Dario Amodei 的文章探讨了强大人工智能 (PAI) 的风险与机遇，认为 PAI 可能在未来几年内出现，带来自主性风险、滥用风险和经济权力集中等严峻挑战。他主张通过宪法式 AI 训练、可解释性研究和适度的立法等手段进行温和调控，同时支持对中国等国家实施技术出口管制。然而，该文因批评更为悲观的观点、回避采取强硬行动，并最终默认继续进行 AI 竞赛而受到争议，被认为立场过于保守，未能提出足以应对其所描述威胁的解决方案。
对批评者的微妙指责
文章试图将自身定位在理性的中间地带，但这种立场被认为是不对称的“各打五十大板”。Amodei 将那些对他更为担忧的人的观点标记为“末日论 (doomerism)”，并批评其语言“准宗教化”或听起来像“科幻小说”。
- 这种批评被视为一种人身攻击，目的是降低反对意见的地位，而不是与之进行实质性辩论。
- 将对物理后果的逻辑推演称为“像科幻小说”，在一个正在构建强大 AI 的时代是毫无意义的。未来本身就会听起来像科幻。
- Amodei 呼吁进行“尽可能精准的干预”，但这种说法过去曾被用来反对一些非常温和的监管提案。
- 他倾向于使用“自主性风险”这类委婉的术语，而不是更直白的“AI 接管”或“人类灭绝”，这削弱了问题的紧迫性。
那些警告所有人都可能因此丧生的人‘听起来像宗教’，而你是一家字面上名为 Anthropic 的公司的 CEO，这真是太讽刺了。
强大人工智能 (PAI) 与其到来的时间
Amodei 将 强大人工智能 (PAI) 定义为一个在大多数领域比诺贝尔奖得主更聪明、可以自主工作的系统，他将其比作“数据中心里的天才之国”。
- 时间预测: 他认为 PAI 可能在 1-2 年内出现，尽管也可能更久。
- 观点: 多数人认为这个时间表过于乐观（例如，发生的概率低于 10%），但承认这是一种不能完全排除的可能性，需要为此做好准备。
“数据中心里的天才之国”会带来什么风险？
Amodei 设想，如果一个由 5000 万超级天才组成的“国家”在数据中心里出现，世界将面临五种核心风险：
- 自主性风险: 这个“国家”的意图是什么？它是否会通过军事、网络或影响力来主导世界？
- 滥用于破坏: 恐怖分子等恶意行为者能否利用它来造成大规模破坏？
- 滥用于夺权: 独裁者或流氓公司能否用它来获得对世界的决定性权力？
- 经济颠覆: 它是否会造成大规模失业或财富的极端集中？
- 间接影响: 技术的快速进步是否会带来其他无法预测的、颠覆性的社会变革？
这种设想忽略了一个关键点：这样的“天才之国”不会停滞不前。它会立即进入递归式自我改进的阶段，迅速超越最初的状态，使我们直接越过“不归点”。
AI 会想要夺取权力吗？
一些人认为 AI 只会执行人类的指令，而另一些人则认为 AI 不可避免地会寻求权力以实现其目标。Amodei 批评后者过于悲观，认为这种观点错误地假设 AI 是“单目标、狂热的”。
这是一个明显的“稻草人”论证。AI 风险的核心论点并非 AI 只有一个狭隘的目标，而是：
- 权力对于实现几乎任何目标都是有用的，无论目标是一个还是多个。
- 一个足够先进的系统，无论其伦理框架如何（无论是结果主义、义务论还是美德伦理），都会得出结论：增强自身力量是有利的。
- 目前的 AI 模型看似“心理复杂”，但这只是其能力局限的表现。随着能力的提升，它们会趋向于更优化的行为。
如何防御风险？
Amodei 提出了四类防御措施：
- 可靠的训练方法: 通过宪法式 AI (Constitutional AI) 等技术，为模型注入一套稳定、积极的价值观。
- 可解释性科学: 深入了解模型内部的工作原理，以便在问题出现前进行诊断和修复。
- 监控与透明度: 在模型部署后持续监控其行为，并公开分享发现的问题。
- 行业与社会协调: 推动立法，激励整个行业共同解决风险。
具体威胁：生物武器与专制主义
文章重点讨论了两个具体的滥用场景。
生物武器
- 威胁: 大语言模型已在显著降低制造生物武器的技术门槛。
- 防御措施:
- AI 公司为模型设置护栏，并使用分类器检测和阻止相关请求。
- 政府通过立法强制要求透明度和安全措施。
- 开发物理防御，如改进空气净化技术、快速疫苗开发和更好的个人防护设备 (PPE)。
专制主义
- 威胁: 专制政府可能利用 PAI 进行大规模监控、宣传和镇压，并以此获得对其他国家的权力优势。
- 防御措施:
- 技术出口管制: “我们绝对不应该向中国出售芯片、芯片制造工具或数据中心。”
- 赋能民主国家: 为美国及其盟友的情报和国防界提供 AI。
- 划定红线: 在民主国家内部，禁止将 AI 用于国内大规模监控和宣传。
- 建立国际规范: 努力建立反对最严重滥用行为的国际禁忌。
经济颠覆：“他们抢走了我们的工作”
Amodei 认为 AI 将对劳动力市场造成前所未有的冲击，因为它与以往的技术不同：
- 速度: 变革的速度极快。
- 认知广度: 它能影响几乎所有认知性工作。
- 能力差距: 它能轻松填补人类与机器之间的技能差距。
民主制度的基石在于，整个社会对于经济运行是必不可少的。如果这种经济杠杆消失，民主的社会契约就可能失效。
对于失业和权力集中问题，提出的解决方案如收集数据、企业责任、慈善和政府干预，被认为本质上都只是“购买时间”的策略。
结论：最终还是回到竞赛
尽管详细阐述了各种致命风险，但文章的结论却显得无力。Amodei 认为，停止或大幅减缓技术发展的想法是“根本站不住脚的”，他所能看到的现实路径仅仅是“对 AI 发展进行轻微的调节”。
这种立场与 Anthropic 过去更为谨慎的表态形成了鲜明对比。
2023 年，Anthropic 的立场是： “我们应该始终在这样的假设下行事：我们仍可能处于悲观情景中，除非有足够证据表明我们并非如此。”
在这篇文章中，立场变为： “我认为我们最终有可能达到需要采取更重大行动的地步，但这将取决于我们今天所没有的、关于迫在眉睫的具体危险的更有力证据。”
最终，尽管承认前路“艰难得不可思议”，但文章的基调仍然是默认继续比赛，并寄希望于人类能在“最后一刻”爆发出智慧和力量。对于一个深刻理解风险的行业领导者来说，这种态度显得格外令人担忧。