当前讨论的核心并非如何治理强大的人工智能，而是谁有权决定它是否应该被创造出来。通过类比奥本海默对“技术上很美”的氢弹的痴迷，揭示了前沿AI公司的矛盾：它们一面警告AI可能带来的灾难性风险，一面又在加速推进技术。这种行为实际上是“先做出来，再讨论后果”，将选择权从公众手中剥夺，迫使社会只能被动地应对一个已经成型的现实。
“技术上很美”的诱惑
罗伯特·奥本海默在领导制造原子弹后，曾对威力远超前者的氢弹表示反对。然而，当物理学家们构想出一种巧妙优雅的设计方案后，他的立场改变了。他将这种方案形容为“技术上很美”（technically sweet）。
“当你看到一些技术上很美的东西时，你会继续做下去，只有在你取得技术成功之后，才会争论该拿它怎么办。”
这种心态描述了一种道德上的无力感：面对一个丑陋的问题，一个科学上优美的解决方案本身就具有巨大的吸引力，而相关的道德考量则被推迟到技术成功之后。
人工智能的现代回响
如今，构建世界级AI模型的公司也在重复类似的故事。Anthropic公司的联合创始人杰克·克拉克（Jack Clark）就是一个例子。
- 矛盾的立场：Anthropic一边强调高级AI带来的巨大风险，呼吁进行严格监管，另一边却又宣称AI是解决未来人口老龄化、气候变暖等严峻挑战的唯一希望，认为这是一场必须进行的赌博。
- 被动的选择：克拉克指出，社会对社交媒体的失控实验就是一个例子，它在未经我们同意的情况下改变了世界。他呼吁我们为AI做出不同的选择。但这忽略了一个根本问题——究竟是谁的选择？
真正的问题：谁有权选择？
社会可以监管汽车、牙刷和核武器，但在每一种情况下，都是某人先把东西造了出来，然后我们其他人再来决定如何应对一个已经包含它的世界。
没有人投票决定原子弹是否应该存在，我们只是被动地接手其后果，然后再制定规则。人工智能的处境与此相同。克拉克希望公众就如何治理AI做出选择，但这选择的必要性，恰恰是因为他的行业已经创造出了需要被治理的东西。
他提供给我们的是一个关于如何处理AI的投票，而不是关于是否制造AI的投票——因为后一个投票已经由他和少数技术精英私下投完了。
在一次公开对话中，一名观众尖锐地提出了这个问题：“是什么赋予了你们这些前沿实验室权利，在没有任何人能选择退出的情况下，继续建造可能摧毁所有人的东西？”
克拉克没有直接回答，而是将问题从“建造的权利”转向了“建成后谁来负责”。他描绘了一个理想的未来，即由“外部的合规、监管、测试和验证系统”来决定技术发展的步伐。然而，他承认这样一个系统目前尚不存在。
真正的动机：无法抗拒的创造冲动
AI公司加速研发的根本原因，并非竞争压力或商业利益，而是奥本海默所说的那种“技术上很美”的诱惑。
- 创造的快感：AI的构建过程出奇地简单和优雅，一旦基础奠定，它几乎会出现在任何探索路径上。这种创造本身带来的兴奋感，从普通用户到顶层高管都无法抗拒。
- 不可避免的工具：人类是使用工具的物种，而AI被视为终极工具。创造它的冲动是如此强烈，以至于是否应该创造它的问题显得无关紧要。
就像奥本海默面对氢弹一样，今天的AI建设者们觉得他们别无选择，只能继续前进。他们希望在自己无法停止创造之后，我们其他人能够做出正确的选择来收拾残局。我们依赖核武器的和平已经维持了70年，但这其中不乏运气的成分。现在，AI的建设者们正在以最快的速度前进，并再一次把希望寄托于我们的运气。