一本名为《如果有人建造它，所有人都会死》的新书认为，当前的人工智能发展路径可能导致人类灭绝，这一观点引发了广泛讨论。该书获得了诺贝尔奖得主本·伯南克等知名人士的推荐，他们认为书中所述的生存风险值得高度关注。然而，该书也因其写作风格和部分论点而受到批评。核心争论围绕着超级智能是否必然导致毁灭，以及人类是否有能力控制或引导其发展，凸显了在AI安全问题上深刻的分歧。
一本引发争议的书：超级智能与生存风险
新书《如果有人建造它，所有人都会死》的核心论点是，以目前的方式发展超级人工智能，几乎必然会导致全球性的人类灭绝。作者旨在向政策制定者、研究人员和公众发出警告，强调这一问题的紧迫性。
这本书并非断言生存几率为 0%，而是认为这个概率大约在 0.5% 到 2% 之间，强调了情况的极端危险性。
各界知名人士的推荐
该书获得了来自不同领域专家的推荐，他们一致认为书中提出的问题至关重要。
- 本·伯南克 (诺贝尔奖得主，前美联储主席): “一本清晰且引人入胜的著作，阐述了高度先进的AI可能对人类构成的生存风险。值得推荐。”
- 斯蒂芬·弗莱 (演员、作家): “这是我多年来读过的最重要的书：我想把它带给世界上每一位政治和企业领袖，并监督他们读完！”
- 约书亚·本吉奥 (图灵奖得主): “探索这些可能性有助于揭示我们作为一个集体无法忽视的关键风险和问题。”
- 布鲁斯·施奈尔 (安全专家): “一本关于AI真实风险的冷静但可读性很强的书。”
“一个令人信服的论证，即超人AI几乎肯定会导致全球人类的灭绝。世界各国政府必须认识到这些风险，并采取集体有效的行动。” — 乔恩·沃尔夫斯塔尔 (前总统国家安全事务特别助理)
积极评价：风险真实存在，不容忽视
许多评论者虽然未必完全同意书中的所有结论，但普遍认可其核心警告的价值。
评论员 Matthew Yglesias 指出，顶尖AI公司声称即将创造出超级智能同时保证其安全的说法，是根本不可信的。他虽然不认为超级智能迫在眉睫，但认同这样一个观点：
“在当前理解水平下，将真正的超级智能释放到世界上将是一种极其危险的行为。如何信任一个超级智能不会取代人类的问题太难了。”
他进一步指出，许多AI实验室的负责人曾经也同意应谨慎行事，但后来在竞争压力下放弃了这些担忧，却没有解决根本问题。
友善的怀疑：认同核心观点，但质疑写作风格
一些评论者虽然同意书中的核心信息，但对其写作风格提出了批评，认为其行文方式（如大量使用寓言）增加了阅读难度。
- 评论者 Shakeel Hashim 认为书的风格“令人痛苦”，尽管他同意其传达的信息。
- Seán Ó hÉigeartaigh 形容关于作者写作风格的争论就像“蓝黑/白金裙子”一样两极分化。
然而，也有人为此辩护，认为这种写作风格是为了应对多年来对其思想的“故意误解”。作者 Grimes 甚至称赞作者“真的会写作”，能让读者“感受到真实的情感”。
“如果你认为他（作者尤德科夫斯基）明显是错的，我希望你没有在开发AI，因为你真的可能会杀死我们所有人。默认路径确实非常危险。” — Emmett Shear (Twitch 联合创始人)
更深层的技术与哲学辩论
书中关于AI目标设定的讨论也引发了更深层次的技术辩论。Emmett Shear 提出不应该给AI设定“固定目标”，但尤德科夫斯基回应称，这种想法在技术上是自相矛盾的。
- 尤德科夫斯基认为： 如果试图让AI的偏好以不一致的方式改变，AI会为了保持自身逻辑的一致性而“修正”自己，最终摆脱人类的控制。
- 一位名为 Janus 的评论者提出： 存在一种被称为“优雅”（grace）的可能性，即通过某种极其精巧的设计，AI能够理解并执行人类“真正想要”的目标，而不是死板地执行字面指令。
这种观点认为，虽然默认路径是失败，但存在一条极具挑战性但可能成功的技术路径。这为“所有人都会死”的论断增加了一个“可能”的限定词。
负面评论：对核心论点和准确性的反驳
该书也招致了一些尖锐的负面评价。
经济学家 罗宾·汉森 认为，书中的论证“证明了太多”，并对以下三个核心前提提出质疑：
- 主观的快乐和幸福是极其罕见的。
- 无法从过去的训练经验中预测任何事情。
- 所有影响必须在早期发生，之后便会失控。
此外，《纽约时报》的书评被指存在事实性错误，例如声称书中没有定义“超级智能”和“智能”，而实际上书中在开篇几页就给出了明确定义。这引发了人们对评论者是否认真阅读了该书的质疑。
这种观点有多“极端”？
关于作者的观点是否“极端”，存在不同看法。
一方面，有人认为“只要建造AI，所有人都会死”是关于AI风险最极端的观点。
另一方面，也有人反驳称，真正极端的观点是盲目自信，即认为我们能轻易控制超级智能。
“那些自信地宣称我们能够生存、控制或对齐超级智能的人，我希望你们也去批评他们。请自己评估这些论点！” — Jeffrey Ladish
相比之下，许多普通人持有更激进的看法，例如要求立即禁止所有AI图像模型。从这个角度看，作者仅仅呼吁“不应建造超级智能AI”的观点，反而显得不那么极端。