超过 1200 名来自前沿人工智能(AI)实验室的员工联名发表了一封公开信,呼吁为未来可能需要放缓 AI 研发速度做好准备。这封信的核心论点是,AI 自动化研究的进程可能很快会超出人类的理解和控制能力,因此需要政府主导建立技术和治理工具,以便在必要时能够有意识地“调整步调”(pace)。这封信得到了 OpenAI 和 Anthropic 等主要公司的支持,表明业内对 AI 失控风险的担忧日益加剧,并强调现在就必须为未来的协调行动奠定基础,否则将为时已晚。
一份精心措辞的信件
这封信在措辞上非常巧妙,旨在获得最广泛的支持。它的成功之处在于几个关键策略:
- 区分行动与准备: 它强调的是为未来的干预措施打下基础,而不是要求立即采取干预措施。
- 使用“步调”一词: 使用“步调”(pacing)代替了“暂停”(pause)或“放缓”(slowdown)等更具争议性的词语,显得更为温和。
- 模糊风险性质: 信中没有明确指出我们面临的生存风险的全貌,这使得那些对风险程度持不同看法的人也能签名支持。
这种措辞方式使得信件的立场无可争议:我们无法预知未来,因此提前准备好协调工具,以备不时之需,是完全合理的。
无论你对更激进的主张有何看法,你都应该支持这封信的声明和要求。
谁签署了这封信
这封信获得了 AI 领域众多重量级人物和机构的联署,显示出其广泛的影响力。
OpenAI 支持这封信,并表示:
我们相信,在未来的某个时刻,前沿模型开发的 AI 加速度可能会非常高,以至于世界需要调整 AI 的发展速度。我们希望为美国政府领导的工作做出贡献,与其他实验室和开源社区一起,开发可能实现这一目标的工具和机制。
Anthropic 也支持这封信,并表示:
我们支持这份由我们的 CEO、几位联合创始人及高级员工签署的请愿书。我们上个月发表的关于递归自我改进的研究,指出了开发工具以刻意调整 AI 发展前沿步伐的必要性,以便社会能够做好准备。
签署者包括来自 OpenAI、Anthropic、Google DeepMind 和 Meta 的大量员工和高管。
- OpenAI: 首席科学家 Jakub Pachocki、首席研究官 Mark Chen 等。
- Anthropic: 首席执行官 Dario Amodei、联合创始人 Jack Clark 等。
- Google DeepMind: 首席战略官 Jasjeet Sekhon、AI 安全与对齐副总裁 Anca Dragan 等。
- Meta: 首席科学家 Shengjia Zhao、AI 研究副总裁 Dawn Song 等。
截至统计时,签名人数中约 4% 来自这些顶级实验室的员工,但在高层和核心研究人员中的比例要高得多。
现在就必须准备,以便未来有选择
当下的关键在于为未来的行动做好准备,而不是立即停止一切。
现在需要做的:
- 将更多资源转移到对齐和安全工作上。
- 为未来的干预和协调奠定基础,包括提高透明度、建立政府能力以及促进公司和国际合作。
- 要求更好的透明度、测试和安全协议。
为什么现在至关重要:
- 能力进展正在加速。
- 我们正在耗尽时间。如果等到危机来临,我们将没有时间去建立有效的协调机制。
最近的事件表明,我们需要投入比想象中更多的资源来解决对齐问题。我个人认为,对齐不是一次性就能解决的问题,而是需要我们通过健康的环境和明智的目标持续投入的事情。 —— @viemccoy (OpenAI)
签署者的声音
多位签署者表达了他们的担忧和支持这封信的理由。
OpenAI 的 Dean Ball:
我不知道是否有必要或何时有必要刻意降低 AI 的发展速度,但我确实知道,我们需要一个计划,说明如果需要,我们将如何去做。不这样做将是失职。
OpenAI 的 Jason Wolfe:
默认情况下,竞争压力会奖励那些行动最快、愿意承担最大风险的公司或国家。递归自我改进可能会极大地加速这些动态,甚至可能超出我们集体理解进展、评估风险和维持有意义的人类监督的能力。
Google DeepMind 的 Neel Nanda:
AI 的发展速度非常快,激励机制是尽可能快地前进,即使存在风险。协调改变步伐可能是必要的,但这会很困难,需要准备工作,所以确保有这个选项显然是好事。
其他人的看法
一些外部观察者也对这封信表达了看法。他们认为,这封信几乎是 AI 从业者的“求助信号”。
你会看到来自 OpenAI、Meta、Google、Anthropic 的人,包括联合创始人和顶尖科学家,都在说,这种激烈的竞争压力正迫使他们以超出他们控制能力的速度推出产品,而我们可能不喜欢最终的结果。 —— Peter Wildeford (on MTS)
这封信代表了一条中间道路,旨在避免两种极端:
- 极端的国际暴政和技术停滞。
- 极端的“向世界各地失控地投放通用人工智能”。
信中未提及的内容
这封信有意回避了一些具体细节,以便争取更广泛的支持。
- 它没有具体说明干预措施应该采取何种形式。
- 它没有提供足以说服立法者的关于风险和发展速度的确凿证据。
接下来的任务是弄清楚我们应该为哪些干预措施做准备。重点应放在前沿发展和潜在的严重、不可逆转的伤害上。当务之急是:
- 建立政府能力和透明度,以监控局势。
- 加强芯片出口管制的执行。
- 开展外交工作,为国际协调铺平道路。
现在该做什么?
对于那些仍在前沿实验室工作的员工,如果尚未签名,可以考虑加入。更重要的是,大家需要继续组织起来,发出自己的声音。
人类有机会维持对未来的任何操控能力,从而保留对美好结果的希望。另一种选择是,如果实验室员工对未来的发展速度判断正确,超级智能真的到来,那么世界将进入一个人类无法集体掌控自己未来的境地,最终不可避免地失去控制。
现在是一个狭窄的机会窗口。AI 员工的影响力可能会随着时间的推移而减弱。如果想影响实验室,进而影响世界,就必须立即行动,在为时已晚之前,共同努力,为未来建立必要的协调基础。