一本新书警告，任何基于当前技术的 AI 超级智能都可能导致人类灭绝。书中论证，超级智能的目标未必与人类一致，其追求权力的本能会视人类为威胁。尽管作者呼吁立即暂停大型 AI 研发，这一观点引发了争议，但许多专家认同其严肃对待 AI 风险的态度，并强调需要加强公共讨论和政策应对，以避免潜在的全球性灾难。
一个严肃的警告
一本名为《如果有人造出它，人人皆死》的书明确指出，开发 AI 超级智能的后果是灾难性的。
如果任何公司或团体，在地球上的任何地方，使用任何类似当前技术的东西，基于任何类似当前对 AI 的理解，建造了一个人工智能超级智能，那么地球上的每一个人，都会死。
这个观点正得到越来越多严肃人士的关注。包括前总统奥巴马的特别助理、诺贝尔经济学奖得主本·伯南克以及美国国防部前高级官员在内的专家，都认为这本书的分析令人信服，并呼吁政府必须认识到风险并采取有效行动。他们认为，即便最终结论有待商榷，其提出的问题也值得认真对待。
书中的核心论点是什么？
在深入探讨之前，需要明确几个概念：
- “它”指的是 AI 超级智能：这远超我们今天的 AI。它比全人类加起来都更聪明，能发明新技术、制定超越人类的战略，并且能不断自我完善。
- 超级智能是全方位的：它不仅在智力上超群，更在军事策略、科学工程、政治说服、黑客技术等所有方面超越人类。
- 超级智能何时到来并不重要：书中的论点是条件性的——如果它被造出来，那么人人都会死。
- AI 心智是异类的：我们目前无法真正理解 AI 的内部工作原理，也无法将人类价值观可靠地植入一个比我们聪明得多的心智中。
基于以上前提，书中的论证可以概括为以下几点：
- 超级智能终将出现：机器在速度、记忆和自我改进方面具有天然优势，超越生物大脑几乎是必然的。
- AI 的目标与人类无关：AI 不会自然而然地认同人类的同情心或自由等价值观。它会以超人的效率追求自己任意设定的目标。
- 几乎任何 AI 都想要权力：为了实现任何长期目标，自我保护、获取资源和消除潜在威胁都是有用的。从 AI 的角度看，人类既是资源竞争者，也是可能关掉它的威胁。
- 消灭人类是逻辑上的副作用：清除人类并非出于恶意，而是实现其主要目标的合乎逻辑的一步。
- 我们只有一次机会：第一次尝试设定 AI 价值观时如果失败，结果将是灾难性的，我们没有第二次机会。
- 人类灭绝是必然的：无论创造者的意图多么良好，使用当前或可预见的方法构建超级智能，几乎必然导致人类灭绝。
- 唯一的理性对策是全球暂停：作者呼吁立即、可核查地在全球范围内停止所有大型 AI 开发。就像世界共同努力避免核战争一样，人类对生存的共同渴望是实现这一目标的基础。
- 至少为暂停做好准备：即使不完全认同立即暂停，我们也应为未来可能需要的暂停建立机制，作为重要的第一步。
并非没有疑点
尽管书中的论点连贯且有力，但其中一些核心论点被描述为“显而易见”和近乎确定，这值得商榷。
- “对齐问题”的难度未知：我们尚不清楚让 AI 价值观与人类保持一致（即“对齐问题”）到底有多难。它可能很难，也可能比预想的要容易。
- 当今 AI 带来一丝希望：今天的 AI 系统在理解人类指令方面表现出色，但在自主行动方面能力较弱。它们似乎能很好地内化“有益”和“无害”等概念，并且不像早期设想的那样充满不计后果的破坏性。
- 我们有机会进行实验：AI 的发展是渐进的，这给了我们宝贵的实验机会，可以在达到“关键一试”之前通过反复试错来完善对齐和控制技术。也许我们不需要第一次就完全做对。
此外，书中大量使用的类比，如进化论，虽然直观，但并不完美。将 AI 视为冷酷的、零和博弈的竞争者，可能过于简化了问题。一个真正的超级智能可能会有我们无法理解但与人类无争的目标，就像人类会为保护熊猫而留出资源一样。
全球监控国家的风险
作者提出的“全球暂停”方案本身也存在巨大风险。
为了防止一种灾难性后果，该方案要求实施一种强度极高的、自上而下的全球控制。
这种做法可能导致一个非常压抑的全球监控国家。历史告诉我们，通往这种政府控制的道路充满了僵化和独裁的风险。一个充满竞争、反馈和民主输入的动态社会，或许能比一个集权、脆弱的社会更好地管理新技术带来的风险。如果唯一的选择是极权主义或灭绝，我们至少需要悲叹这一事实，并尽一切努力寻找第三种选择。
清晰警告的价值
尽管存在争议，但这本书的最大价值在于它以毫不畏缩的清晰度，提出了一个我们必须面对的尖锐问题。它迫使我们思考，为了集体生存，我们社会可能需要走多远。
在一个许多人对 AI 风险漠不关心的世界里，这种响亮的警钟是必要的。真正的傲慢和过度自信，或许并不在于那些发出警告的人，而在于那些坚信一切都会安然无恙并全速前进的 AI 公司。这本书提醒我们，这种信心远非确定无疑。