新声明呼吁暂缓开发超级智能

一份由众多专家和公众人物签署的新声明，呼吁禁止开发超智能，因为它可能带来包括人类灭绝在内的巨大生存风险。该禁令的解除前提是，必须有广泛的科学共识证明其安全可控，并获得强烈的公众支持。此举旨在就超智能的潜在危险建立社会共同认知，并引发了关于其必要性与可行性的激烈辩论。

核心声明：禁止开发超智能

许多顶尖人工智能公司的公开目标是在未来十年内构建出超智能，即在几乎所有认知任务上都能显著超越人类的系统。这引发了从经济、自由到国家安全乃至人类生存的广泛担忧。

我们呼吁禁止开发超智能，除非满足以下条件，否则不应解除禁令：

• 有广泛的科学共识认为其开发过程将是安全和可控的。
• 获得了强烈的公众支持。

这项声明的核心观点是，在当前或可预见的未来，构建超智能的风险远超可接受范围。其目标是创建一种共同认知：在没有充分的安全保障之前，任何可能直接导致超智能出现的行为都是不可接受的。

回顾：从“暂停”到“优先事项”

为了理解这份新声明的立场，回顾之前的两次重要呼吁很有帮助。

• 第一次（2023年3月）：暂停信。 这封信呼吁立即暂停训练比 GPT-4 更强大的系统至少六个月。它是一个明确要求“减速”和“暂停”前沿模型开发的呼吁。然而，这封信因其模糊性和缺陷而受到批评，并被用作嘲笑任何AI风险担忧的工具。

• 第二次（2023年5月）：CAIS声明。 这份声明只有一句话，但意义重大，并获得了包括 Sam Altman 在内的行业领袖的签署。

  > “将人工智能带来的灭绝风险作为全球优先事项来应对，应与大流行病和核战争等其他社会规模的风险并列。”

这并非要求采取具体行动，而是一份原则性声明，成功地就AI风险的严重性建立了共同认知。

第三份声明：更具体，但不是“暂停”

这份新声明介于前两者之间。它比简单地陈述一个优先事项更具指令性，但它不是要求立即暂停所有AI开发。

它的要求非常明确和狭窄：如果你正在构建的东西很可能成为一个超智能，那么在当前条件下，你不应该这样做。这并不是阻止普通AI的开发和应用，而是专门针对那个可能导致人类失控的临界点。

谁签署了声明？

截至目前，已有超过三万名签署者，包括AI领域的先驱如 Yoshua Bengio 和 Geoffrey Hinton，以及来自不同领域的公众人物。

• Tristan Harris (技术伦理学家): 他强调，如果中美两国都造出了自己无法控制的东西，那么谁也无法“获胜”。当双方都认识到生存风险时，协议是可能达成的。他举例说，中美领导人已同意不在核武器指挥和控制系统中使用AI。

• Jeffrey Ladish (AI安全研究员): 他指出，在激烈的竞争压力下，以我们目前的理解水平去开发超智能是“疯狂的”。他强调，超智能不仅在数学和编码上超越人类，更是在说服、黑客攻击、研发和政治等所有战略领域。

反对的声音：不切实际且适得其反？

该声明也引来了重要的反对意见，主要观点认为它不切实际且可能产生负面效果。

• 定义与执行问题： 批评者认为，任何将此声明付诸实施的政策都将难以操作。例如，如何准确定义“超智能”并进行监管？

• “停止AI”的误解： 一些人将此声明等同于“停止所有AI”，尽管声明本身有明确的界定。

• 对全球协调的担忧： 批评者担心，阻止开发不安全的超智能最终需要一个“拥有几乎不受限制权力的全球组织”，而这本身可能比AI风险更糟糕。

对批评的回应

支持者认为，这些批评误解了声明的意图和作用。

• 建立共识是第一步： 提出一个价值声明是为了建立共同认知，让社会意识到问题的存在。具体的实施方案可以在此基础上再进行讨论。正如历史上呼吁禁止童工时，人们也是先提出原则，而后才逐步完善“儿童”和“劳动”的具体定义。

• “证明安全”是妥协条款： 声明中“直到证明安全”的措辞，本意是作为一种妥协和安抚，旨在让更多人接受，而非要阻碍所有相关研究。

• 去中心化的安全措施是可能的： 我们在没有建立全球集权的情况下也成功禁止了许多不安全的技术。关键在于将风险降低到可接受的水平。

最终，这场辩论的核心在于，我们是否应该等待一个完美的、可操作的解决方案出现后才开始行动，还是应该首先就“不应在条件不成熟时贸然开发超智能”这一基本常识达成社会共识。