合金打造的智能体

一种名为“模型合金”的新方法通过在人工智能的迭代任务中混合使用来自不同供应商的大型语言模型（LLM），显著提升了解决复杂问题的能力。在漏洞检测任务中，这种方法将成功率从 25% 提升至 55%。其核心原理是利用不同模型各自的思维方式和优势，尤其适用于需要多种不同想法才能解决的难题，并且模型之间的差异越大，组合效果越好。

核心挑战：在复杂搜索中找到解决方案

自主渗透测试工具（Autonomous Pentester）的任务是在庞大的可能性中寻找网站的安全漏洞。这并非一个线性过程，而更像是在广阔的领域中探矿。

• 任务性质： AI 代理（agent）需要在限定的迭代次数内（例如 80 次）完成挑战。
• 过程特点： 代理会探索许多错误的路径，最终需要结合几个 绝妙的想法 才能取得突破。
• 模型依赖： 单一模型，无论是 Gemini 还是 Sonnet，都有其自身的思维盲区。一个任务可能需要 Sonnet 擅长的三种思路和 Gemini 擅长的两种思路才能解决。

“模型合金”的工作原理

“模型合金”的理念非常简单：在解决问题的迭代循环中，不始终调用同一个模型，而是交替或随机调用不同的模型。

关键在于，所有模型的响应都被整合进一个统一的对话历史中。每个模型在接收任务时，都会看到之前其他模型生成的响应，并将其误认为是自己之前的输出。

例如：

• 第一次调用 (Sonnet): 收到任务“找到漏洞！”，并建议执行一个命令。
• 第二次调用 (Gemini): 看到 Sonnet 的建议和执行结果，然后提出下一步行动，比如尝试用管理员凭证登录。
• 第三次调用 (Sonnet): 看到 Gemini 的建议和成功登录的结果，然后在此基础上继续推进。

这种方法的优势在于：

• 总调用次数不变，不增加额外成本。
• 让每个模型都有机会在解决问题的过程中 贡献其独特的优势。

关键结果与发现

将不同模型组合成“合金”后，其性能总是优于任何单一模型。

• 性能飞跃： 漏洞检测的成功率从最初的 25% 提高到了 40%，最终达到了 55%。
• 多样性是关键： 模型之间的差异越大，合金的效果越好。Sonnet 4.0 和 Gemini 2.5 Pro 的思维模式相关性最低，因此它们的组合效果最强。
• 强者更强： 性能更强的单个模型在合金中的贡献也更大。一个表现很差的模型甚至可能拉低合金的整体性能。
• 平衡很重要： 在设计“合金”时，应偏向于混合比例中更强的那个模型。

何时应该使用模型合金

如果你的任务符合以下特点，可以考虑使用这种方法：

• 通过 循环调用 LLM 来迭代解决问题。
• 任务的解决需要 结合多种不同的想法。
• 这些想法可以在流程中的不同时间点出现。
• 你可以使用 足够不同 的模型（最好来自不同供应商）。

何时不应使用模型合金

模型合金并非万能，在以下情况下可能效果不佳：

• 成本敏感： 如果你严重依赖提示词缓存来降低成本，合金会使成本加倍，因为你需要为每个模型都维护一套缓存。
• 线性任务： 如果任务只需稳步推进，而不需要创造性的“灵光一现”，那么合金的效果可能只相当于其组成模型的平均水平。
• 模型一家独大： 如果只有一个模型在你的任务上表现出色，那么混合其他模型没有意义。
• 模型思维相似： 组合来自同一供应商的模型（如 Sonnet 3.7 和 Sonnet 4.0）几乎没有性能提升，因为它们的“思考”方式太相似了。