针对强大人工智能（AI）实施全球监管或“暂停”的提议，旨在防止其失控并对人类造成灾难性后果。然而，这种看似审慎的方案本身就充满了巨大的风险。其核心问题在于，有效的监管几乎不可避免地会持续扩张，最终可能需要一个拥有前所未有强制力的“世界政府”来执行。考虑到监管在应对模糊恐惧和快速变化的技术方面的不良记录，这条路径不仅不切实际，而且可能扼杀创新。因此，关键在于权衡：AI失控的风险是否真的大到足以让我们去冒一个同样充满不确定性且代价高昂的监管风险。
监管提议：看似合理的“暂停”
人们对人工智能的一个极端恐惧是，它会摆脱人类的控制，并最终伤害甚至奴役我们。为了避免这一情景，许多人呼吁现在就对强大的人工智能实施严格的全球法规，限制其能力和使用者。
- “暂停”的误导性： 一些人将这种监管称为“暂停”，暗示我们很快就能找到可靠的控制方法。这似乎是一种误导，因为我们没有理由相信AI控制技术会在短期内取得突破性进展。因此，所谓的“暂停”可能会无限期持续下去。
- 最初的目标： 目前，大多数倡导者将目光锁定在少数几家“前沿AI公司”，认为只有它们的技术才构成威胁，因此提议先从监管这些公司开始。
人们担心的极端情况是，人工智能将摆脱其制造者、购买者或租赁者的控制，并转而伤害他人。
监管范围的无限扩张风险
将监管范围限定在少数几家公司的想法很快就会变得不切实际。一个AI监管机制要想保持有效，其管辖范围必然会迅速扩大，而且没有明确的尽头。
- 成本急剧下降： 在过去四年中，训练强大AI的成本每年大约下降10倍。这意味着能负担得起强大AI的国家、公司和组织数量正在迅速增加。监管机构必须不断将新的参与者纳入监管范围。
- 硬件界限模糊： 最初，监管可能只需监控专门的AI芯片和数据中心。但很快，其他类型的计算硬件也能被用来训练强大的AI，监管范围也必须随之扩大。
- 软件定义不清： 人工智能与其他软件之间没有天然、清晰的界限。如果法规只针对当前AI的特定结构，开发者很快会找到绕过规则的新结构。最终，一个AI监管机构的范围可能会扩大到涵盖几乎所有的计算机软硬件。
迈向“世界政府”的巨大一步
即使监管只针对当时最强大的AI系统，它也似乎不可避免地需要一个全球性的、拥有强大强制力的治理体系。
即便只监管最强大的AI，也似乎需要一个世界政府来执行。
目前，世界各国授权的全球监管机构权力通常非常有限，大多只能进行谴责或劝说，而没有强制各国遵守的权力。一个有效的AI监管机构需要成为一个重大的例外，能够强制所有国家（包括有能力开发强大AI的多个国家）遵守其规则。这实际上是在推动建立一个拥有空前权力的世界政府，是国际政治中的巨大一步。
监管的历史教训与现实挑战
历史经验表明，监管在特定条件下才能良好运作，而AI领域恰恰不具备这些条件。
- 应对模糊的恐惧，而非具体伤害： 监管在处理已经发生的、具体的坏事时效果最好，而在被授权处理模糊和广泛的未来恐惧时效果最差。AI监管正是后者。
- 应用于快速变化的技术： 监管在技术和社会结构稳定的世界中表现最佳。当情况可能发生巨大变化时，监管往往会成为阻碍这些变化的绊脚石。AI恰恰是一个技术飞速迭代的领域。
最终，核心问题回到了最初的风险评估上：强大的人工智能摆脱人类控制并追求自己目标的可能性究竟有多大、多紧迫？只有当这个问题带来的威胁确实足够严重时，我们才有理由去冒险尝试一种本身就极不可靠且可能带来巨大损害的解决方案。