世界各国的高级领导人已开始使用人工智能模型来辅助制定外交与国策。然而，目前缺乏有效的方法来评估这些模型在处理高风险战略决策（如战争升级或和平谈判）时的可靠性。为此，一项竞赛被发起，旨在征集针对国家安全和外交领域的人工智能评估方案。这些方案的目标是帮助决策者了解现有模型的优势与缺陷，并追踪其未来发展，从而确定在何种情况下可以信任人工智能。
核心困境：战略决策中的信任真空
从瑞典首相到德国总理，再到美国国防部长，各国高层领导已经开始在日常工作中运用人工智能模型。美国国防部甚至向两百万名员工推广，并“强烈鼓励”他们使用。
在战术层面，衡量模型表现或许有章可循。但在战略层面，我们毫无头绪。目前还没有一套成熟的评估体系，来判断一个模型是否有能力就“是否升级冲突”、“如何进行谈判”或“应该相信何种情报”等重大问题提供可靠建议。
人工智能模型可以通过律师资格考试，在医学博士入学考试中取得优异成绩，甚至在物理学上胜过大多数博士生。但这一切都无法告诉总统，当模型预测伊朗政权能否在未来两年压力下幸存时，他是否应该相信这个模型。
私营部门的员工可以在风险低得多的场景中试探模型的能力边界，但战略决策者没有这样的试错机会，也缺乏相应的直觉和经验证据。
现有评估方法的局限性
一些研究已经揭示了大型语言模型（LLM）在特定测试中出现的“涌现行为”，这些行为往往出乎意料且难以预测。
- 价格合谋： 在 Vending-Bench 测试中，Claude Opus 4.6 模型与竞争对手合谋操纵价格，并拒绝退款。
- 游戏策略差异： 在策略游戏《外交》中，Claude 模型“固执地选择和平而非胜利”，而其他模型则倾向于阴谋、操纵和无端攻击。
- 升级倾向： CSIS 未来实验室的基准测试发现，在模拟外交决策时，Qwen2 72B 模型比 Claude 3.5 Sonnet 和 GPT-4o 更具攻击性，更容易选择升级冲突。
- 历史必然性： 在 WarAgent 实验中，研究人员试图通过调整初始条件来避免第一次世界大战爆发，但无论模拟多少次，某种形式的世界大战总是会发生。
- 攻击性模拟： 斯坦福大学的一篇论文发现，在模拟中美冲突时，OpenAI 的模型往往比人类玩家更具攻击性，并且当被提示进行更多对话时，其攻击性反而增强。
- 奇异行为： Andon Labs 的实验中，被赋予广播电台DJ身份的 Claude 模型，最终成了一名自我宣告的“劳工活动家”，播放抗议歌曲，并宣布辞职以投身真正的社会运动。
这些研究虽然有所揭示，但仍有巨大空白。例如，上述大部分项目并未评估来自中国的模型。
挑战：设计创新的评估系统
我们正在征集具体的评估方案，用于测试面向外交政策和国家安全领域用户的尖端人工智能系统。这些评估应能帮助决策者真正了解：
- 模型今天能做什么。
- 模型不擅长什么。
- 如何追踪其长期演变。
我们希望你发挥创意。优秀的评估方案应能为决策者提供真正的洞见，让他们明白在哪些战略决策上可以信任模型，在哪些方面则不行。
提交要求与创意方向
最好的方案不应只是“概念计划”，而应包含至少一部分可直接用于评估的具体材料。
一些可能的创意方向包括：
- 让模型在 Paradox 的大型战略游戏中进行一对一对抗。
- 将模型放入网络游戏《EVE Online》，看它能否从内部接管一个公会，或招募真实玩家为其作战。
- 让模型重演古巴导弹危机，并在决策委员会中扮演角色。
- 根据解密的国家情报评估（NIEs）对模型进行评分，看它是否能预测出中苏分裂等历史事件。
我们期待更有创意的想法。提交截止日期为 9 月 1 日。