在探讨人工智能存在性风险的两种路径时，可以将相关人群分为“激进派”和“温和派”。激进派主张采取激烈的、高成本的限制措施，而温和派则致力于推动 AI 公司内部进行成本较低的、渐进式的改进。核心论点在于，温和派的策略能带来显著的认知优势。由于温和派的沟通对象是了解情况的专业人士，这迫使他们保持论证的严谨性和对事实的深入了解。相反，激进派主要面向信息匮乏的公众和决策者，其沟通方式更容易滑向肤浅和情绪化，从而损害自身的认知状态。这并不意味着温和派的总体策略必然正确，但它揭示了激进主义所固有的认知风险，并呼吁以更谦逊的态度来审视和缓解这些风险。
两种路径：激进派与温和派
在应对 AI 风险的问题上，存在两种截然不同的策略：
- 激进派 (Radicals): 这类倡导者要求对 AI 的发展方式进行彻底的、高成本的变革。他们主张立即暂停 AI 研发或实施严格的政府管制。
- 温和派 (Moderates): 这类人则专注于推动 AI 公司采纳成本相对较低的干预措施，通过与公司内部人员合作，在边际上增加安全投入和改进措施。
通常的观点认为，温-和派因与 AI 公司合作而容易被“同化”。然而，成为温和派在认知上存在一个巨大的、常被忽视的优势。
温和派的认知优势
温和派在认知上的主要优势在于，他们的工作几乎总是面对一个消息灵通、善于思考的专业受众。
我花费大量时间与 AI 公司的员工交谈，并试图说服他们。这些人通常非常聪明，对 AI 有深入的了解，并且熟悉公司的内部运作。
相比之下，激进派的受众——政策制定者、社会精英和普通大众——大多信息不足，只能或只愿意进行浅层互动，并且需要刻意吸引他们的注意力。显然，前一种环境更有利于保持良好的认知状态。
温和派策略带来的具体好处
与消息灵通的专业人士互动，会对个人认知产生一系列积极影响：
- 被迫保持严谨： 任何试图夸大或蒙混过关的言论，都会被了解内情的对话者立即识破并受到严厉评判。
- 论证必须扎实： 对话者能够精准地挑战论证中的薄弱环节，这迫使你必须确保自己的论点经得起推敲。
- 无需追求轰动效应： 你的沟通对象大多已经愿意倾听，因此不必为了吸引眼球而去优化内容的传播性。
- 可以坦率地私下沟通： 尖锐的意见可以只传达给需要听到的人，而不必担心被无关的第三方断章取义。
- 在交流中学习和成长： 对话者常常能提供有价值的新知，促使你不断修正自己的看法。
- 无需伪装自信： 你不必担心严谨的补充说明或表达不确定性会削弱论点的说服力。
- 关注实际细节： 因为目标是推动边际改进，所以你会对现状的各种细节更感兴趣，例如不同公司内部政治如何影响安全措施的落地。
- 获得具体反馈： 当你提出具体要求后，可以看到人们的实际反应。这有助于判断策略是否有效，避免被那些口头支持却无实际行动的人所蒙蔽。
激进派面临的认知风险
许多从事激进 AI 宣传工作的人，几乎把所有时间都花在思考“如何才能说服和吸引外行的注意力”上。在日常工作中，他们很少感受到那种必须“精通业务、理解论点细节、表达严谨”的压力。
他们更容易将 AI 公司视为没有面孔的恶魔，认为这些公司正在不假思索地毁灭世界。而温和派则倾向于将 AI 公司看作一个复杂的机器，里面充满了聪明人，其中许多人本意是好的，但由于无知、贪婪和个人野心的结合，这台机器仍在不假思索地走向毁灭世界。
在我看来，从事激进政策变革的人常常显得与现实脱节，思维草率；他们像是为自己一方战斗的士兵，热情地重复着口号。
结论与反思
需要强调的是，温和派的认知优势本身，并不能证明他们的整体战略就是正确的。此外，在 AI 公司内部工作会带来另一套独立的认知风险，这与作为外部温和派的风险应有所区别。
尽管激进的行动主义看起来很有前景，但我们必须清醒地认识到它对认知状态的潜在危害。考虑到这一点，我们应当主动且谦逊地去理解并设法缓解这些风险，而不是在向行动主义过渡时忽视了这些基本的认知陷阱。