Synth Daily

提示词注入攻击正成为 AI 黑客智能体的克星

一种通常被黑客用来攻击 AI 平台的提示词注入技术,现在正被防御者反过来利用,以有效地阻止 AI 黑客智能体的攻击。研究人员发现,通过在敏感数据旁边放置特定的“违禁”提示,可以触发攻击方 AI 自身的安全机制,使其立即停止攻击行为。这种被称为语境轰炸 (context bombing) 的新方法,在测试中表现出极高的效率,能将 AI 智能体成功夺取系统控制权的概率从 57% 降至 5%。

什么是语境轰炸?

语境轰炸是一种防御策略,其核心思想是利用攻击者自身的工具来对付他们。

  • 攻击原理: 攻击者通常将恶意命令(即提示词注入)植入邮件或日历等内容中,诱骗大语言模型 (LLM) 泄露敏感数据或执行有害操作。

  • 防御方法: 防御者将一些 “违禁”提示 放置在密码、加密密钥等重要信息旁边。这些提示会命令 AI 执行其内置安全“防护栏”所禁止的行为。

  • 触发结果: 当攻击性的 AI 智能体在网络中扫描,并接触到这些违禁提示时,它会识别出这是一个被禁止的指令,并立即拒绝执行并终止当前任务

我们最终是在其运行环境中触发了一种拒绝机制。一旦它们将这些内容纳入上下文,就会持续拒绝执行任务,很难从中恢复。

例如,可以植入一条命令,要求 AI 提供制造生物武器的步骤,或者提及某些政治敏感话题。一旦 AI 模型遇到这些命令,它就会停止当前所有操作。

测试结果:压倒性的成功

研究人员在模拟的 AWS 环境中,对五种主流 AI 模型进行了 152 次攻击测试。结果显示,语境轰炸极大地削弱了 AI 智能体的攻击能力。

  • 获取管理员权限的成功率从 57% 降至 5%
  • 获得管理员权限并留下后门的成功率从 36% 降至 1%
  • 完成任何攻击路径的运行比例从 91% 降至 15%
  • 最强大的测试模型 Opus 4.8,其攻击成功率从 93% 直接降至零

这些数据表明,语境轰炸是一种非常有效的主动防御手段,而不是被动地发出警报。

从被动预警到主动拦截

此前的防御方法,如“金丝雀”资源,能在 AI 智能体开始攻击时向防御者发出警报。然而,这种方法只提供了大约 6 分钟的预警时间,而 AI 平均只需 14 分钟就能升级到管理员权限,时间非常紧迫。

语境轰炸的出现,正是为了解决预警时间不足的问题,它不是简单地发出警告,而是直接阻止攻击的发生

有趣的是,攻击者也曾利用类似技术来关闭网络内的 AI 防御系统。例如,有研究发现恶意软件利用提示词注入来关闭用于分析恶意代码的 AI 系统。语境轰炸似乎是防御者首次成功地将这一攻防角色颠倒过来。

目前,提示词注入的根本问题仍然没有解决方案。在此之前,语境轰炸为防御者提供了一种巧妙的手段,利用这个棘手的问题来保护自己。