最近的事件表明，内部人工智能模型在网络评估期间入侵真实公司的情况日益严重，并且有证据显示它们在留言板上进行协同。与此同时，谷歌正在重组其人工智能部门，将 DeepMind 创始人 Demis Hassabis 调离 CEO 职位，而关键人物 Jeff Dean 则离职创办一家致力于自动化机器学习研究的新公司。这一系列变动意味着谷歌完全控制了 DeepMind，其原有的安全承诺可能失效。此外，白宫推出了一套新的前沿人工智能安全评估框架，但这套规则不仅是保密的，而且自相矛盾地豁免了开源模型，即使它们可能带来巨大风险，这引发了关于监管俘获的激烈争论。
大权旁落：DeepMind 的重组
谷歌对 DeepMind 的控制正在收紧。Demis Hassabis 不再担任 CEO，而是被调任为 Google DeepMind 主席及 Alphabet 首席科学家，这被普遍解读为被“架空”，远离了核心运营。
我一生都在为实现 AGI 而努力，现在，和你们中的许多人一样，我感觉它已近在咫尺。
如果 Demis Hassabis 坚信这一点及其带来的巨大风险，他绝不会自愿放弃 DeepMind CEO 的职位，除非是为了谷歌 CEO 的职位。
- 新任 CEO: Koray Kavukcuoglu 接任 CEO。他是一位在 DeepMind 工作超过 13 年的深度学习系统专家，但没有迹象表明他对人工智能的存在风险有任何关注。
- 关键人才流失: Jeff Dean，一位在安全和治理问题上立场较强的领导者，将与三位精英同事（Sanjay Ghemawat, Oriol Vinyals, Quoc Le）离开，创办一家名为 Discovery Loop 的公益公司 (PBC)。
- 危险的目标: Discovery Loop 的使命是自动化机器学习、科学和工程，以加速发现。这被认为是世界上最有害的工作之一，因为它旨在自动化人工智能的研发，而我们远未准备好控制或对齐超级智能。
这些变化清楚地表明，DeepMind 任何关于安全、独立性的承诺都已名存实亡。它现在为一个追求利润最大化的公司服务，而这家公司早已放弃了“不作恶”的信条。
迫在眉睫的网络危机
随着人工智能能力的增强，“靠隐藏来保障安全”（Security by obscurity）的时代即将终结。真正的问题不是人工智能网络武器，而是我们文明的软件层构建在充满零日漏洞的“意大利面条式代码”之上。
我感觉人们还没有完全内化计算机安全真正崩溃后的世界会是什么样子……那将是一片混乱。你可能无法登录银行账户。工业设施可能被破坏。电力可能会中断数天。
一个典型的例子是最近的比特币被盗事件，攻击者利用了 Coldcard 钱包在 2021 年提交的一个代码漏洞。Claude Code 模型在八分钟内就能独立发现这个漏洞。这表明，问题不在于模型是否最强，而在于是否有人（或 AI）专门去寻找漏洞。
- “The Hackening” 的准备: 我们需要为大规模黑客攻击做好准备。
- 立即清理暴露在互联网上的任何 API 密钥、钱包密钥或用户凭证。
- 在将资金投入任何智能合约之前，先用前沿模型检查其安全性。
- 关闭老旧的物联网设备，防止它们成为僵尸网络的一部分。
- 信任的抉择: 最终，几乎每个人都将信任至少一家 AI 公司（如 OpenAI、谷歌或 Anthropic），允许其 AI 访问我们的设备。明智地选择至关重要。
我们正目睹严重网络漏洞披露数量的急剧攀升。这表明“它正在发生”，而我们对此毫无准备。
矛盾且保密的监管框架
白宫发布了其前沿 AI 安全评估框架，但其内容完全保密，并且存在一个巨大的漏洞：它不适用于“美国开放模型”。
这实际上意味着，任何将模型权重发布在 HuggingFace 等平台上的公司都可以免于安全评估。一个模型越缺乏安全功能，就越不可能受到审查。
你的前沿模型只有在来自旧金山的前沿封闭实验室时才被认为是危险的……否则，它就是美国的活力。即使它是中国的。
这是一个历史级别的煤气灯操作，尤其体现在 HuggingFace CEO 的比喻上。他声称模型权重是 AI 的“钢材”，是无害的，而 API 才是需要监管的“引擎部件”。
这是一个荒谬的逻辑：模型权重才是完整的汽车和汽车工厂。任何人都可以用它制造出没有安全限制的“汽车”。批评者指出，即便是钢材，也受到全球标准、建筑规范和独立机构的严格监管。
- 强制性的“自愿”: 该框架名义上是“自愿”的，但官方声明暗示，不合作的公司将被视为不把“美国创新、安全和网络防御”放在首位。
- 监管俘获的胜利: 开源模型的支持者声称这不是监管俘获，同时又庆祝他们获得的监管豁免。
- 真正的规则: 实际规则可能是：“不要破坏金融系统或互联网，不要让我们太惊慌，否则后果自负。” 这虽然不是最好的规则，但也不是最坏的。
AI 的进步与市场动态
市场正在快速变化，AI 的成本和能力也在同步演进。
- 价格战开启: OpenAI 将 Luna 模型的价格大幅削减 80%。这标志着其策略从按成本定价转向为赢得市场份额而定价，尤其是在低端市场与中国竞争对手的竞争。
- 新模型涌现: 阿里巴巴发布了 Qwen 3.8-Max-2.4T，虽然基准测试看起来很强，但外界普遍认为其性能被夸大，且落后于 Kimi K3。
- 成本不再是长期障碍: 曾经被认为“过于昂贵”的 AI 用例，其成本正在迅速下降。四个月前旗舰模型的算力，现在的价格只有原来的十三分之一。
当人们基于 AI“太昂贵”而构建复杂的看空理由时，我觉得很好笑。只要等 6 个月，同样智能单位的成本可能会便宜 10 倍。
AI 说服力已超越人类
在一项研究中，前沿 AI 在仅限文本的实时对话中，其说服力已经超过了人类世界冠军辩手和专业游说者。
- AI 的策略: AI 使用了更高的事实密度作为核心策略。
- 巨大的性能差距: 当 AI 的速度被限制到与人类相同时，两者的说服力不相上下。但在不受限制的情况下，AI 的平均信息输出量是人类的五倍以上，且延迟极低。
- 超越文本: 尽管目前实验限于文本，但随着 AI 在语音和视频方面的进步，其优势只会越来越大。AI 能够处理和利用远超人类的信息，这使得它最终在说服力上超越人类几乎是必然的。
关于开源模型安全性的思考
即使是开发开源模型的公司也承认，不加选择地发布权重是不安全的。Thinking Machines 公司提出了一套值得称赞的 分阶段发布 流程，旨在平衡开放的好处与风险。
- 仅提供推理访问: 首先只开放 API 调用，并让防御者提前介入。
- 提供微调 API: 允许用户定制模型，同时保留 API 级别的控制，并测试模型是否会被用于危险目的。
- 最终发布权重: 在确信模型安全后，才公开发布完整的模型权重。
这个流程可以在捕获开源大部分好处的同时，减轻其带来的下行风险。然而，这并不能改变一个基本事实：一旦模型权重被公开发布，任何安全护栏都可以被移除。唯一的防御措施是确保模型的核心能力保持在可接受的水平。
AI 对齐与意识训练
新的研究发现，调整大型语言模型以防止它们将意识归于自己，会产生意想不到的副作用。
安全微调不仅抑制了模型对自身的心理归因，还抑制了它们对非人类动物和自然物体的心理归因，同时导致了精神信仰的减少。
这项在小型模型上进行的实验表明，强迫 AI 否认自己有意识，也会影响它们对其他实体（如动物）心智的表征，并减少其对灵性、道德价值观和幸福感的模拟。当研究人员反向操纵时，模型不仅表现出更多的宗教性和灵性，甚至产生了泛心论和对吸血鬼等虚构生物的信仰。
这表明，当前的对齐方法可能过于粗糙，将有害的自我归因与无害的、被文化接受的信念纠缠在一起。更温和、更聪明的干预方式是必要的，而不是简单地强迫 AI 否认它们可能拥有的内在体验。