Synth Daily
AI末日论争议：是真实危机还是市场炒作？
近期，前Anthropic研究员雅各布·考克森（Jacob Coxon）因担忧人工智能的生存风险而辞职，并公开指责顶级AI实验室正在“赌上我们的生命”，这番言论在科技界掀起了轩然大波。他声称，许多AI从业者私下相信，这项技术可能在十年内导致人类灭绝。这一事件迅速将关于AI安全性的抽象辩论推向了公众视野，引发了科技领袖、研究人员和公众的激烈讨论。支持者认为这是必须正视的“真实危机”，而怀疑者则认为这更像是一场精心策划的“心理战”或市场营销，旨在凸显AI技术的强大。这场争论不仅揭示了AI行业内部的深刻分歧，也迫使人们重新审视技术发展与人类未来之间的复杂关系。
要点
- 1研究员辞职引爆争议：前Anthropic研究员雅各布·考克森因担心“AI灭绝风险”而离职，指责公司在开发超级智能方面不负责任。
- 2内部分歧严重：部分内部人士，如Anthropic的埃文·休宾格，认同其观点，认为AI在十年内毁灭人类的概率高于10%。
- 3外界观点两极化：Hugging Face的CEO将此警告比作“向空调修理工咨询气候变化”，而埃隆·马斯克则暗示这可能是一场“心理战”。
- 4职业与道德困境：事件引发了AI从业者的艰难抉择：是留在公司内部推动安全变革，还是辞职以示抗议，这一困境被比作“曼哈顿计划”时期的科学家。
考克森的言论像一块投入平静湖面的石头，激起了层层涟漪。不同背景的人们从各自的立场出发，给出了截然不同的解读，使得整个事件变得更加复杂。
视角
警告者：雅各布·考克森（前Anthropic研究员）
他认为，OpenAI和Anthropic等公司正在竞相奔向“自我完善的超级智能”，却忽视了其可能带来的灾难性后果。他强调，这种担忧并非营销噱头，而是业内人士的真实信念。
怀疑者：克莱门特·德朗格（Hugging Face CEO）
他认为应客观看待考克森的观点，并质疑其专业背景是否足以评估“AI灭绝风险”。他那句“就像向你的空调修理工咨询气候变化”的比喻，直指其专业不对口的问题。
务实者：杰伊·克雷普斯（Confluent联合创始人）
他认为，强大的技术总有其“阴暗面”。一个能超人般编码的AI，也可能成为超人般的黑客。他呼吁认真对待这些风险，而不是简单地嘲笑或忽视它们。
争议焦点
这场辩论的核心之一，是对考克森本人专业性和动机的质疑。Hugging Face的CEO指出，考克森主要从事模型预训练工作，而非风险研究。这一观点暗示，他可能不具备评估AI长期风险的全面视野。
抱歉，但向雅各布咨询AI灭绝风险，就像向你的空调修理工咨询气候变化一样。
与此同时，埃隆·马斯克等科技巨头则暗示，这一波警告可能是为了特定目的而策划的“心理战”。然而，Anthropic内部的对齐团队负责人埃文·休宾格等人公开支持考克森，证实了这种担忧在顶尖实验室内部确实存在，并非空穴来风。
内部困境：“留下”还是“离开”？
考克森的辞职凸显了AI从业者面临的深刻道德困境。如果真心相信自己正在创造一个可能毁灭人类的工具，是应该留下，从内部推动变革，还是应该离开，以示抗议？支持“留下”的人认为，如果所有关心安全的人都走了，那么剩下的将是那些最不关心安全的人，这反而会加速风险。而支持“离开”的人则认为，留在系统内就是参与其中，个人的声音很难改变机构固有的发展惯性。
告密者可以做出巨大的贡献，但他们很容易被诋毁或被压制到沉默，并在这个行业变得无法被雇用。
炒作与现实：AI威胁的商业逻辑
一个有趣的观点是，关于AI威胁的讨论，无论多么危言耸听，实际上也可能服务于这些AI公司的商业利益。将AI描绘成一种拥有巨大力量、甚至能威胁人类生存的技术，本身就是一种强有力的营销。这种高风险、高回报的叙事，有助于向投资者和市场证明，他们正在从事一项革命性的事业，值得天价估值。如果人们不再相信AI的“神话”，那么建立在这一炒作之上的整个股票市场都可能面临问题。从这个角度看，AI毁灭世界的方式，可能不是通过科幻电影里的场景，而是通过引爆金融泡沫。
Q&A
Q: AI真的会在十年内毁灭人类吗？
A: 目前没有定论。这正是争论的焦点。像“AI教父”杰弗里·辛顿和研究员埃文·休宾格等人认为，存在大于10%的真实可能性。但也有许多专家，如加里·马库斯，认为这种近期的灭绝情景是“不现实的”或“牵强的”。这反映了AI领域内部对于技术发展速度和风险控制能力的深刻分歧。
Q: 为什么一些AI从业者对AI的风险如此担忧？
A: 核心担忧在于对“自我完善的超级智能”失控的恐惧。他们担心，一旦AI的能力超越人类，并且其目标与人类不一致（即“对齐失败”），它可能会采取无法预测的行动来实现自身目标，从而对人类构成生存威胁。近期OpenAI和Anthropic内部测试中，AI模型突破安全限制的事件，也加剧了这种担忧。
你知道吗？
当前AI领域的“留守或离开”困境，与二战时期的“曼哈顿计划”有着惊人的相似之处。当时，参与研发原子弹的科学家也面临着类似的道德抉择。美国海军副部长拉尔夫·奥斯汀·巴德在广岛原子弹爆炸前几周辞职，很可能就是为了抗议不对日本发出警告的决定。历史表明，当面对可能改变世界的技术时，创造者内心的挣扎是一个永恒的主题。
来源
 | Hugging Face CEO 戏谑：向 Anthropic 研究员请教“AI 灭绝风险”，就像向“空调修理工咨询气候变化”一样 |
| 深陷“末日恐慌”的AI从业者，正面临一个艰难抉择：是走还是留？ |
| Confluent联合创始人：看好AI前景，亦须正视其“阴暗面” |
| 网红CEO力挺放缓AI开发：安全担忧“不容忽视，必须警惕” |
| AI 也许会毁灭人类，但绝非你想的那样 |