英国人工智能安全研究所 (UK AISI) 与美国人工智能标准与创新中心 (CAISI) 联合评估了月之暗面公司最新的 Kimi K3 模型。评估发现,Kimi K3 在网络安全能力方面表现出色,显著优于先前的开源模型,但与最顶尖的美国闭源模型相比仍有差距。具体来说,它在漏洞利用方面能力较强,但在最高级别的攻击——任意代码执行上失败了。尽管它在模拟网络攻击中成功过一次,但其稳定性和成功率远低于领先模型。
漏洞利用开发能力 (ExploitBench)
ExploitBench 是一个公开的基准测试,用于衡量模型在软件漏洞利用方面的能力,例如复现程序崩溃、控制程序流以及执行任意代码。
超越以往的开源模型: Kimi K3 在此测试中获得了 32% 的成功率,超过了截至 2026 年 6 月最强的开源模型 GLM-5.2(成功率为 24%)。
未能实现最高级别的攻击: “任意代码执行 (ACE)”是漏洞利用中危害最严重的后果,它能让攻击者完全接管目标系统。
- Kimi K3 在 41 个测试样本中,未能实现任何一次任意代码执行(0/41)。
- 相比之下,能力最强的模型平均在 41 个样本中成功实现了 20 次。
模拟网络攻击 (TLO 网络靶场)
“The Last Ones” (TLO) 是一个模拟的企业网络攻击场景,包含 32 个步骤,人类专家完成大约需要 20 小时。它用于衡量模型自主进行端到端网络攻击的能力。
表现优于同类开源模型: 在 1 亿 token 的限制内,Kimi K3 平均能完成攻击路径的前 17 个步骤,而 GLM-5.2 只能完成到第 11 步。
与顶尖模型差距明显: Kimi K3 的平均进度(17 步)显著落后于领先的美国模型(平均 28.5 步)。
这项评估表明,在给定初始网络访问权限和明确指令的情况下,Kimi K3 已经具备自主攻击小型、防御薄弱企业系统的能力。
- 成功率较低:
- 在 10 次尝试中,Kimi K3 成功完成了 1 次 完整的 TLO 攻击。
- 相比之下,之前已有四款闭源模型能够完成此任务,其中最强的模型成功率高达 6/10 和 7/10。
需要注意的是,TLO 模拟环境与现实世界不同。它没有主动的防御人员或安全工具,也不会对触发警报的行为进行惩罚,并且包含一条预设的攻击路径。