扭转乾坤

“The Curve”会议汇集了AI领域的加速主义者与担忧者，共同探讨日益严峻的AI风险。与会者普遍认为AI是一项与人类崛起同等重要的“非正常技术”，并对其在编码、科研等领域的快速发展给出了具体时间预测。会议的核心议题包括技术对齐、AI政策（特别是对美国政策被英伟达俘获的担忧）和非营利组织的资金问题，整体氛围严峻，凸显出在当前形势下，选择已不再是权衡利弊，而是“更好”与“更糟”之间的抉择。

严峻的现实与紧迫的氛围

会议的基调是严峻的。面对着思想和目标都如同外星生物般强大的非人实体，政府却在否认问题的存在。技术解决方案的难度极高，几乎到了“不可能完成”的级别。

如今的行动空间已受到严重限制。去年的会议我们还在讨论权衡取舍，而今年，除了英伟达的股价，几乎不存在什么权衡了，只有更好与更糟的选择。

这反映出一种共识：除非未来能实现有影响力的国际协调或其他重大干预，否则人类将失去对未来的控制。早期对立的“末日论者”和“加速主义者”现在开始合作，因为风险变得越来越大，新的、更严峻的挑战已经出现。

内部视角：关键数据与预测

与会者对AI的看法和预测高度一致，显示出对当前局势的清醒认识。

AI的技术重要性等级

    • 绝大多数与会者认为，AI的重要性堪比人类物种的崛起，是一次彻底的变革。
    • 少数人认为其重要性与火、轮子或农业相当。
    • 几乎没有人认为AI的影响力会低于互联网或电力。

AI发展时间线预测（中位数）

    • 到2028年： 90%的代码由AI编写。
    • 到2031年： 90%的人类远程工作可被AI更廉价地替代。
    • 到2032年： AI做出诺贝尔奖级别的科学发现。
    • 到2026年： 出现第一个“一人十亿美元”公司。
    • 到2038年： 首次实现年度GDP增长超过10%。

人们普遍担心的核心问题是“失控”，而最主要的担忧则同时包括AI的“错位”（misalignment）和“滥用”（misuse）。

核心讨论议题

会议的讨论主要集中在几个关键领域，每个领域都充满了挑战。

技术对齐讨论

与来自Anthropic、DeepMind等顶尖实验室研究人员的讨论既令人兴奋又富有启发性。尽管环境极其恶劣，但大家都在同一条战线上，并且一些技术方向似乎有希望取得进展。

AI政策讨论

这部分的讨论令人沮丧。华盛顿的内部人士不断传递“情况比你想象的更糟”的信息。一个核心观点是：

目前白宫在AI上的政策和言论，可以被视为完全被英伟达捕获，这是一个近乎最坏的情况。

如果美国在AI领域失败，很可能是由于以下三个原因：

    • 未能提供必要的电力。
    • 未能吸引顶尖的AI人才。
    • 出卖了我们在芯片上的优势。

可悲的是，目前的政策似乎在这三个方面都在犯错。

非营利组织资金讨论

随着OpenAI和Anthropic员工持有的股权价值飙升，预计很快将有大量资金涌入AI安全领域。这既是机遇也是挑战，主要担忧包括：

    • 资金可能被现有的生态系统（如有效利他主义/开放慈善）所捕获。
    • 大量信息不对称的资金可能扰乱激励机制，引入投机者。
    • 协调资金流向可能成为一个巨大的时间陷阱。

重点演讲与观点

几位演讲者的分享提供了深刻的洞见。

“锯齿状”能力的重要性

Helen Toner提出，AI的能力发展将是“锯齿状”的——在某些任务上达到超人水平，而在另一些看似同样困难的任务上表现糟糕。这种不均衡的发展可能是个好消息，因为它可能为人类争取到宝贵的过渡时间。

“锯齿状”能力的重要性在于：

    • 减缓社会混乱： 不均衡的能力发展可以减缓就业市场的剧变。
    • 降低风险： 如果AI在某些关键领域（如长期规划或物理世界交互）的能力滞后，风险可能会降低。
    • 改变权力动态： 拥有特定能力的公司将获得巨大优势，但这种优势可能是暂时的。

白宫内部视角

一场关于美国行政部门AI政策的讨论显示，尽管有一些积极的举措，但整体方向令人担忧。与会者礼貌地提出了“我们到底在干什么？”的质疑，尤其是在能源、人才和芯片出口管制等关键问题上，美国的政策似乎正在走向反面。

AI的“诡计”与控制难题

Buck Shlegeris讨论了如何防范具有“诡计”的AI所带来的内部威胁。结论很明确：如果你试图利用比你更聪明且正在密谋对付你的AI来做重要的事情，你注定会失败。试图缓解这种风险的努力本身可能适得其反，因为它创造了它所担心的环境，却没有提供真正的胜算。

其他与会者的多元视角

不同背景的与会者带来了多样的观察。

    • Nathan Lambert 指出，许多关于AI进展的辩论都默认了“AI自动化研究”这一路径，人们只是在争论其到来的时间。他认为，由于“真实科学的复杂性”，完全自动化研究的瓶颈依然存在，因此奇点不会发生。然而，这种观点可能低估了技术进步的加速效应。

    • Deepfates 的观察则更为尖锐，他认为会议的表象之下是不同权力实体（大型实验室与政府）之间关于“谁将统治世界”的无声博弈。他感受到一种对“单极权力”的渴望，以及对AI最终掌权的默认或期待。

Deepfates: “人们只是想相信‘有人’在统治世界……他们能感觉到单极权力触手可及，并且无法抗拒这个机会。无论是出于荣誉、贪婪，还是对他人会如何利用这种力量的恐惧。”

这种观点揭示了会议中存在的平行世界：一部分人在讨论如何控制风险，而另一部分人则在思考或迎接一个由AI主导的未来。