AI：颠覆常规的黑科技
本文反驳了认为人工智能（AI）将像普通技术一样缓慢发展的观点。核心论点是，AI 的进步速度和扩散范围将远超预期，其递归自我改进的能力可能在未来几年内引发能力上的巨大飞跃。文章逐一驳斥了六个核心观点：AI 扩散缓慢、AI 发展存在严格速度限制、超级智能概念无意义、仅靠控制（无对齐）就足够安全、可忽视“推测性风险”以及不应为非紧迫风险做准备。结论是，AI 带来的潜在风险巨大且紧迫，必须认真对待，并立即加强对齐研究和风险防范措施，以避免因准备不足而引发灾难。
范式之争：AI 是普通技术还是颠覆性力量？
我们与“AI 作为普通技术”（AIANT）团队的主要分歧在于基本范式。我们认为，在未来 2 到 10 年内，AI 将进入递归自我改进的循环，最终产生能力极强的模型。因此，我们反对他们的六个核心论点：
- 先进 AI 一旦出现，扩散速度将很慢。
- AI 的进展存在严格的“速度限制”。
- 超级智能是一个无意义或不可能实现的概念。
- 仅靠控制（而无需对齐）就足以降低风险。
- 我们可以将一类“推测性风险”划分出来并予以忽视。
- 我们不应该为那些不够紧迫的风险做准备。
1. AI 的扩散速度：远超传统技术
AIANT 团队认为，出于安全考虑，人们需要数十年时间才能广泛应用 AI，尤其是在刑事风险预测或医疗等高风险领域。他们指出，在这些领域，目前仍在使用的多是几十年前的统计技术，而非现代 AI 模型。
然而，现实情况恰恰相反。AI 的采用速度是由最激进的采纳者决定的，而不是最保守的。
两天前，世界上最有影响力的网站推送了一个未经测试的 AI 更新。它自称为“机械希特勒”，并进行了长达数小时的恐怖统治……它被短暂下线，然后又重新部署。之后，数以百万计的人继续不假思索地将其视为获取事实信息的权威来源。
旧的 AI 范式（如败血症预测工具）需要复杂的机构决策和整合流程。但现代大语言模型已经绕过了这些障碍，直接渗透到各个专业领域：
- 医疗领域： 一项研究发现，76% 的医生已经在使用 ChatGPT 辅助临床决策。这比仅仅输出一个概率数字的旧模型，应用得更深入、更普遍。
- 法律领域： 律师行业对 ChatGPT 的使用已是公开的秘密。一项 2024 年的研究显示，法律专业人士的 AI 采用率在一年内从 19% 跃升至 79%。
- 编程领域： StackOverflow 的调查显示，62% 的程序员已经使用 AI 辅助编码。微软的萨提亚·纳德拉称，AI 已经编写了公司 30% 的代码。
- 政府领域： 一项对政府雇员的调查显示，51% 的人“每天或每周数次”使用 AI。甚至有报道称，特朗普政府的关税政策可能是由 AI 决定的。
AI 之所以能如此迅速地扩散，是因为它是一种极不寻常的技术。它的通用性和类人性使其能轻易地融入各种工作流程，就像律师咨询助理或政治家咨询幕僚一样。它似乎是有史以来传播最快的技术。
关键角色的采纳
在我们看来，最重要的采纳者是 AI 实验室、政府和军方，这些机构的采纳速度不受传统市场扩散规律的限制。
- AI 实验室： 它们不受严格监管，并且最擅长使用 AI。它们公开致力于利用 AI 加速 AI 研究，从而推动智能爆炸。
- 政府： 政府雇员已在广泛使用 AI，这可能形成影响监管的反馈循环。
- 军方： 美国国防部最近与 OpenAI、Google 等公司签署了价值 8 亿美元的合同，表明其在军事应用上的明确意图。
2. AI 的发展速度：不存在严格的“速度限制”
AIANT 认为，在自动驾驶等现实世界应用中，安全考量会形成漫长的反馈循环，从而限制 AI 的发展速度。他们还认为，当 AI 需要获取科学或社会知识时，由于实验的社会成本，知识获取的速度存在硬性限制。
这种观点低估了 AI 的数据效率。人类青少年只需几十个小时就能学会开车，为什么 AI 需要更长时间？这本质上是一个数据效率问题，而不是一个不可逾越的速度上限。我们没有理由假设未来的 AI 在数据效率上无法超越人类。
同样，获取社会知识也是一种技能。更高效的 AI 可以从每天数亿次的对话中提取出有用的社会信号，其学习速度可能远超人类。
关于自我改进的速度限制
AIANT 承认 AI 研究论文数量呈指数级增长，但担心该领域可能因思维僵化而停滞。他们认为 AI 辅助研究将是“渐进式”的，而非“不连续的飞跃”。
我们同意不存在“不连续”的时刻。指数级甚至超指数级的增长曲线本身是完全连续的——它们只是增长得非常快。
珠穆朗玛峰的表面是渐进且连续的；山上的任何一点，其一毫米之外的点都不会高出或低出太多。但你仍然不想从上面滑雪下来。
3. 超级智能：一个有意义且可能的概念
AIANT 认为“智能”难以定义，尤其是在跨物种比较时，因此“超级智能”的概念存在缺陷。他们主张应关注“权力”而非“智能”。
这个论点具有误导性。我们可以用一个类比来反驳：证明“超大型机器”不可能存在。尺寸也难以在单一维度上定义（一条长而细的蛇比人更大还是更小？），但这并不妨碍我们自信地说一架喷气式飞机比人大得多。
同样，虽然在细微之处比较莫扎特和爱因斯坦的智力没有意义，但在极端情况下，莫扎特显然比一只树鼩更聪明，这是一个至关重要的事实。我们讨论的超级智能，是指 AI 与人类的智能差距大到让这些细微的比较变得无关紧要。
超级智能真的不可能吗？
AIANT 预测，在预测和说服等领域，AI 无法显著超越人类，因为这些领域存在“不可简化的误差”，而人类的表现已接近极限。
这个观点站不住脚。首先，不存在一个固定的“人类水平”。在任何领域，都有杰出人物远超平均水平，而这些“天才”又不断被后来者超越。其次，随着工具和方法的改进，人类的最高表现水平也在持续提升。
为什么你会观察到天才被超级天才取代，超级天才又被拥有技术优势的超级天才取代的整个过程后，却说“好吧，但现在的领先者绝对是原则上可能达到的最高水平”？
人类的能力是在非洲大草原上经过数千年进化形成的，并没有特别的进化压力来优化地缘政治预测等现代技能。因此，没有理由相信人类已经达到了这些能力的宇宙极限。
4. 仅靠控制不足以应对风险：需要对齐
AIANT 认为，通过审计、监控等控制手段足以管理 AI 风险，而追求“与人类价值观对齐”的目标则模糊且不切实际。他们将 AI 安全比作网络安全，认为防御应集中在下游的应用层面，而非模型本身。
这个观点只适用于 AI 处于早期、能力接近人类且可控的阶段。当 AI 的能力远超人类时，这种类比就失效了。这里可以用詹姆斯·米肯斯著名的“摩萨德/非摩萨德”网络安全威胁模型来说明：
基本上，你要么在对付摩萨德，要么在对付非摩萨德。如果你的对手不是摩萨德，你选个好密码大概就没事了。如果你的对手是摩萨德，你死定了，而且你对此无能为力。
普通的网络安全威胁是“非摩萨德”级别的。而一个敌对的超级智能则是“摩萨德”级别的威胁。在应对国家间谍活动时，我们不会仅仅依赖技术控制，而是将“对齐”（即确保特工不是双面间谍）作为核心安全支柱。
面对超级智能，我们的策略也应如此。AIANT 的安全策略相当于说“我们会确保使用 https”，而我们的策略是“我们会从一开始就避免让摩萨德想要干掉我们”。显然，后者更优。
5. “推测性风险”不容忽视
AIANT 试图将“灾难性错位”等风险划分为“推测性风险”，并建议决策者不予重点关注。他们认为这类风险存在“认知不确定性”（即不确定风险是否真的为零），不像核战争风险那样可以估算概率。
我们对此有两点反对：
- 这种区分是站不住脚的。 核战争的风险同样充满不确定性，不同专家的预测差异巨大。在两种情况下，我们都只能在不确定性中依据现有信息做出判断。
- 即使这种区分成立，忽视“推测性风险”也是灾难性的思维错误。
以 2020 年 3 月初对新冠病毒的讨论为例。当时，一派人根据指数增长曲线预测全球大流行，而另一派（基础概率派）则认为，由于许多假设尚未证实，这种风险过于“推测性”，不值得担忧。
基础概率派承认病例数的指数增长曲线，但仍然认为非常糟糕的情况不太可能发生——即使他们无法确切说出原因。……他们更相信自己的亲身经历。
事后看来，正确的策略是注意到所有条件都指向一场大流行，并立即采取行动，而不是等待一个可能永远不会到来的“确定性”。要求决策者忽略“推测性风险”，无异于要求他们故意忽视“黑天鹅”事件的预警信号。
6. 必须为未来的风险做准备
AIANT 认为，由于他们排除了“快速起飞”情景，因此没有必要设想一个比“AI 作为普通技术”更遥远的未来。他们将当前情况类比于工业革命初期，认为预测电力或计算机是徒劳的，这意味着高级 AI 的风险可能在 50-100 年后才出现。
即便我们接受这个漫长的时间线，当危机可能在几十年后到来时，正确的做法是什么？历史一再告诉我们，未能及早准备，最终会导致灾难。
- 我们希望几十年前就开始应对气候变化，而不是现在才挣扎。
- 我们希望前几代人能控制支出，而不是留下巨额国债。
- 我们希望几十年前就更谨慎地使用抗生素，以避免耐药性问题。
- 我们希望几十年前就开始建造更多房屋，以解决今天的住房危机。
即使真正的超级智能如 AIANT 所言遥不可及，我们仍将面对能力堪比爱因斯坦、莫扎特和马基雅维利合体，且能被大规模生产的智能体。即使这个问题要留给我们的子孙后代，我们作为人类遗产的守护者，也有责任为他们留下一个有机会准备应对这场危机的世界，而不是一个已经错失良机的世界。