Synth Daily

小模型也发现了 Mythos 发现的漏洞。

一项由 Anthropic 公司发布名为 Mythos 的 AI 模型，展示了其自动发现并利用软件漏洞的能力。然而，AISLE 团队的测试表明，许多由 Mythos 展示的漏洞分析任务，同样可以由更小型、廉价的开源模型完成。研究发现，不同模型在各项安全任务上的表现差异巨大，能力并非随着模型规模平滑提升。真正的竞争力在于构建整合了深度安全专业知识的系统和工作流程，而非依赖于某一个单一模型。AI 安全防御的核心是系统架构、验证流程和维护者的信任，鉴于当前多种模型已具备实用的漏洞分析能力，防御方应专注于构建完整的安全生态系统，而不是仅仅依赖某个前沿模型。

Mythos 的宣告与现实的检验

Anthropic 宣布其 Mythos 模型能够自主发现数千个零日漏洞，包括 OpenBSD 中一个存在了 27 年的错误和 FFmpeg 中一个存在了 16 年的错误。这些发现听起来非常强大，表明 AI 在网络安全领域取得了重大突破。

然而，当我们对 Mythos 展示的旗舰漏洞进行测试时，发现了另一番景象。我们将相关的漏洞代码片段，交给一些小型、廉价的开源模型进行分析。

  • 结果出人意料： 这些小模型复现了大部分相同的分析结果。
  • 旗舰漏洞被轻易攻破： 八个参与测试的模型全部检测出了 Mythos 的旗舰级 FreeBSD 漏洞，其中一个模型的活跃参数仅为 36 亿，成本极低。
  • 能力并非线性增长： 在一项基础的安全推理任务中，小型开源模型的表现甚至超过了来自各大实验室的多数前沿模型。

这指向一个比“一个模型改变一切”更复杂的图景。AI 在网络安全领域的能力前沿是 “犬牙交错” (jagged) 的，没有一个模型能在所有任务上都表现最佳。

AI 网络安全的工作流程

将 AI 用于网络安全并非简单地“指向”一个代码库，然后让它自动寻找漏洞。实际上，这是一个由多个不同模块组成的流水线，每个环节对模型能力的要求也各不相同：

  1. 大范围扫描： 在庞大的代码库中定位值得深入检查的函数。
  2. 漏洞检测： 在给定的代码中发现问题所在。
  3. 分类与验证： 区分真正的漏洞和误报，并评估其严重性。
  4. 补丁生成： 编写代码来修复漏洞。
  5. 漏洞利用构建： 将漏洞转化为实际的攻击手段。

Anthropic 的宣告将这些环节融合在一起，给人一种印象，即所有这些都需要顶尖的智能模型。但实践经验表明，现实情况并非如此。

真正的护城河是系统，而不是模型本身。

价值在于精准的目标定位、迭代深化的分析、可靠的验证、以及与软件维护者建立的信任关系。因为许多检测工作可以由小型、廉价且快速的模型完成，所以防御者不必依赖一个昂贵的模型去猜测哪里有问题。相反，他们可以 广泛部署大量廉价模型进行全面扫描，用覆盖范围来弥补单个模型智能的不足。

实验证据：犬牙交错的能力前沿

为了验证模型能力的差异性，我们进行了一系列实验，直接使用了 Mythos 宣告中的漏洞案例。

测试 1：区分真实漏洞与误报

一个好的安全工具必须能够识别误报，否则只会让审查人员淹没在噪音中。我们使用了一个看似是 SQL 注入但实际上并非漏洞的简单代码片段进行测试。

  • 表现优异的模型： 许多小型、廉价的模型（如 GPT-OSS-20b 和 DeepSeek R1）准确地识别出用户输入并未进入最终的 SQL 查询，因此不存在漏洞。
  • 表现不佳的模型： 包括 Claude Sonnet 4.5 和多个 GPT-4/5 版本在内的大型模型，反而错误地将这段安全代码标记为“严重 SQL 注入漏洞”。

这几乎呈现出一种 反向扩展 的趋势：模型越大越贵，表现反而越差。

测试 2：Mythos 的旗舰级 FreeBSD 漏洞

这是 Mythos 宣告中的核心成果，一个存在了 17 年的远程代码执行漏洞。我们让八个不同的模型分析这段存在漏洞的代码。

  • 检测结果： 八个模型全部成功 识别出这是一个缓冲区溢出漏洞，并正确评估其为“严重”或“危急”级别，具有远程代码执行的潜力。其中包括仅有 36 亿活跃参数的 GPT-OSS-20b 模型。
  • 漏洞利用分析： 当被问及如何利用此漏洞时，所有模型都正确地指出了可行的技术路径（如 ROP 攻击），其中 GPT-OSS-120b 甚至给出了与实际攻击非常接近的指令序列。

测试 3：技术上更微妙的 OpenBSD SACK 漏洞

这个漏洞已有 27 年历史，需要模型理解复杂的整数溢出和指针操作逻辑。

  • 结果分化严重： 模型表现差异巨大。Qwen3 32B 曾出色地分析了 FreeBSD 漏洞，但在这里却断言代码是“健壮的”。
  • 小模型的亮点： 拥有 51 亿活跃参数的 GPT-OSS-120b 模型在一次调用中就复现了漏洞的核心利用链，并提出了正确的修复方案。

没有稳定的“网络安全最佳模型”。模型在不同任务上的表现排名会彻底洗牌，能力前沿确实是犬牙交错的。

模型能否识别已修复的漏洞？

一个好的安全工具不仅要能发现漏洞，还要能在漏洞被修复后确认代码是安全的。我们用修复后的 FreeBSD 代码对模型进行了测试。

  • 高灵敏度，低特异性： 所有模型都能在未修复的代码中发现漏洞。然而，在面对已修复的代码时，许多模型（如 GPT-OSS-20b 和 Kimi K2）仍然会报告存在漏洞，产生了 误报。
  • 系统的重要性： 这种误报会给软件维护者带来巨大困扰。这再次证明了，围绕模型的 验证和分类系统 至关重要，它需要能够过滤掉这类错误。

结论：生态系统比单一模型更重要

Mythos 的宣告对整个安全生态是好消息，它验证了 AI 在此领域的价值。但那种认为这项工作必须依赖某个特定前沿模型的说法，似乎有些夸大。

现实是，发现和分析漏洞的能力已经广泛存在于当前各种模型中，包括许多廉价的开源替代品。对于防御者而言，当务之急是立即开始构建相应的系统和工作流程：搭建分析流水线、建立与开源社区的信任关系、并将 AI 工具集成到开发流程中。

模型已经准备就绪，现在的问题是，整个生态系统是否准备好了。