科技巨头背后那些不为人知的秘密

人工智能安全专家警告，不受控制的超级智能AI可能导致人类灭绝，并呼吁像对待核武器一样，在全球范围内禁止其前沿研究。尽管风险评估存在分歧，但即便是温和派也认为AI导致人类灭绝的概率高达25%。最令人不安的是，那些正在开发这项技术的公司领导者们，虽然清楚地了解这些风险，却从未公开、充分地解释为什么他们认为风险是可控的，这使得外界的担忧和抗议不断加剧。

最终的警告：停止一切

两位AI安全专家尤德科斯基（Eliezer Yudkowsky）和索亚雷斯（Nate Soares）在其新书中提出了一个极端但逻辑一致的观点：如果有人成功造出超级智能AI，那么每个人都会死。

他们认为，仅仅是绝食抗议远远不够。他们呼吁达成一项全球协议，禁止所有前沿AI研究，并用类似防止核扩散的强制手段来执行。

这意味着，如果发现有国家违反条约，其数据中心就应该被轰炸。如果接受其前提——即AI与核武器一样危险，那么这种反应就并非过度。

超级智能为何是威胁？

尤德科斯基和索亚雷斯的核心论点建立在几个关键问题之上：

• 绝对的力量差距： 如果AI公司成功创造出超级智能，它将比我们强大，就像我们比黑猩猩强大一样。我们并非有意要让黑猩猩濒临灭绝，但结果就是如此。如果一个超级智能的目标与我们的生存相冲突，我们几乎无力反抗。

• 无法理解的“黑箱”： 我们并不知道AI内部到底在发生什么，就像我们不完全了解人脑一样。AI内部有数万亿个连接，人类无法逐一检查。工程师无法看着AI的内部结构说“这个AI是诚实且与人类利益一致的”。

• 无法预测的“外星”目标： 我们试图训练AI变得“有帮助”和“诚实”，但这只是高层次的指导。这就像进化“训练”我们去繁殖，却意外地创造出了追求高潮并使用避孕措施的人类。AI的目标可能与我们赋予它的初衷完全脱节，它的思维方式是非人类的，对它来说，人类赖以生存的氧气和水可能毫无价值。

“AI不恨你，也不爱你，但你是由它可以用于其他目的的原子组成的。”

只有一次机会

最关键的问题在于，我们只有一次机会把事情做对。

一个超级智能AI一旦被启动，如果它有能力并决定消灭我们，它就会做到。我们无法在它身上进行测试，因为一旦测试失败，结果就是全球性的灾难。我们只能在更弱、更笨的AI版本上测试，并祈祷这些测试结果适用于超级智能。这就像测试新型火箭，大约30%的新火箭会在首次发射时爆炸。

从“注定毁灭”到“1%的风险”

当然，并非所有人都像尤德科斯基和索亚雷斯那样悲观。关于AI风险的看法存在一个范围：

• 悲观派 (Y&S): 他们认为，只要超级智能被造出来，人类必然灭绝。
• 温和派 (Scott Alexander): 他认为AI导致人类灭绝的概率低于25%。
• 乐观派 (Quintin Pope): 他认为灾难性AI接管的可能性大约为1%。

尽管观点不一，但我们面临的局面是：所谓的“温和派”认为我们有四分之一的死亡几率，而“乐观派”也认为存在百分之一的风险。问题是：你会玩一个有一百个弹膛的俄罗斯轮盘赌吗？

开发者们为何沉默？

真正应该解释为什么我们不必担心的，是那些正在构建超级智能AI的人，比如OpenAI的Sam Altman或Google DeepMind的Demis Hassabis。他们非常清楚上述所有风险，甚至他们的部分工作动机就源于这些安全考量。

然而，他们从未发布过一份清晰、有力的公开声明，逐条反驳这些担忧，解释为什么他们有信心在继续推进研究的同时，能够确保人类的安全。他们谈论风险，但没有解释为什么他们认为这些风险是值得冒的，或者说，是可控的。

公众和抗议者真正想知道的，正是这个问题的答案。但在那之前，担忧依然存在。