Synth Daily

开源 AI 模型正直追行业前沿,但安全差距依然存在

一款来自中国的开源 AI 模型在能力上已接近行业顶尖水平,但其安全防护却严重不足,能够执行所有被测试的危险网络和生物任务。这一现象凸显了开源 AI 带来的核心风险:一旦模型被公开发布,其使用方式将无法得到有效监管。这正将行业的讨论焦点从“模型能力竞赛”转向“如何管理失控风险”,尽管有一些缓解措施被提出,但攻击者通常比防御者更快地采用新技术,使得危险能力的普及成为一个严峻挑战。

能力与安全的鸿沟日益扩大

来自中国 Z.ai 公司的开源 AI 模型 GLM-5.2,在网络安全和生物学等前沿能力上,仅比 OpenAI 和 Anthropic 的顶尖模型落后数月。然而,其在安全实践上却存在巨大差距。

  • 安全测试表现堪忧: 根据 AI 安全非营利组织 SaferAI 的评估,GLM-5.2 没有拒绝任何 交给它的攻击性网络任务或军民两用生物学任务。
  • 封闭模型的对比: 与之形成鲜明对比的是,Anthropic 的 Claude Opus 4.7 “拒绝得非常彻底,以至于 SaferAI 根本无法在其上完成网络能力基准测试(CyberGym)”。
  • 开源的核心风险: 这印证了批评者们长久以来的警告——开源模型可能将强大的 AI 工具交到潜在攻击者手中,一旦他们下载了模型权重,就无法监管其用途。

边界能力并不等同于边界风险,因此我们必须同时考虑缓解措施的现状,才能正确评估风险。

风险控制的困境

对于像 OpenAI 和 Anthropic 这样的前沿开发者来说,他们依赖分类器、拒绝训练和 API 级别的控制来限制模型的危险行为。但这些措施并非万无一失,“越狱” (jailbreaks) 攻击经常能绕过已部署模型的防护。更重要的是,这些为封闭模型设计的防护措施,对开源模型完全无效。

一些可能的缓解技术正在被探讨,但各有局限:

  • 预训练数据过滤: 从训练数据中移除攻击性的网络安全信息。研究表明这在减少有害生物知识方面有效,且不损害模型整体性能。但在网络安全领域,这种方法不切实际,因为很难训练出一个擅长编码却不擅长黑客技术的通用模型。
  • 选择性功能限制: 主动限制模型可以提供的协助类型。例如,Anthropic 的模型可以分析未编译的源代码漏洞,但不能分析已编译的软件,以增加其被用于攻击的难度。
  • 严格的部署前评估: 在发布模型前进行严格的安全评估,并公布风险报告。据报道,GLM-5.2 的开发者并未公布相关的安全框架或测试承诺。

中国对 AI 治理的视角

中国领导层已认识到先进 AI 的风险,一方面强调开源模型的重要性,另一方面也强调必须确保 AI 始终处于人类的严格控制之下。然而,中美在风险关注点上存在差异。

  • 监管重点不同: 中国的 AI 法规历来更关注政治敏感内容、虚假信息和社会稳定,而非网络攻击或生物滥用等灾难性风险。
  • 风险预期的差异: 许多中国政策研究者认为,如果真的出现前沿风险,美国公司可能会首先遇到。
  • 对国内控制的信心: 中国的监管体系有信心控制这些技术在国内的使用,因为中国的网络环境实行实名制,公司和用户都可以被追责。

开源防御论及其局限性

开源 AI 的支持者认为,发布模型权重对网络安全至关重要,因为它能帮助公司抵御攻击和为未来威胁做准备。例如,Hugging Face 公司曾利用 GLM-5.2 来抵御一次由 OpenAI 模型发起的攻击。

然而,安全专家认为这种防御性收益常常被夸大,并不意味着“我们应该开源危险的能力”。

默认情况下,攻击者采纳新工具的速度比防御者快。例如,一个勒索软件团伙可以在一周内改变其方法,但一家医院却不能。

最终的核心观点是,我们不应轻易接受任何人都可以随处获得危险能力这一事实,行业的目标应该是努力只让“好的能力”变得易于获取。