最近，一枚据称由人工智能（AI）自主选择目标的俄罗斯无人机在乌克兰造成三名平民死亡，这标志着机器在没有人类直接干预的情况下做出致命决定的一个不祥开端。这一事件将全球关于自主武器的辩论推向了前台，核心在于两个相互竞争的框架：“有意义的人类控制”主张在所有致命决策中都必须有人类介入，而美国五角大楼提出的“适当的人类判断”则更为灵活。随着像 OpenAI 这样的科技公司采纳后者的标准，一个不要求人类批准每一次致命行动的未来正在形成，这使得防止将致命武力完全交给机器的保障措施变得模糊不清，难以衡量和执行。
新的战争现实
近期在俄乌战争中发生的一件事，可能预示着未来战争的形态。一枚由人类开发和部署的俄罗斯无人机，最终自主选择了目标，导致三名乌克兰平民丧生。
这不再是科幻场景。包括世界主要军事强国在内的许多国家，正在摒弃人类必须始终控制武器的观念。它们转而接受一种更宽泛的责任观：人类通过设计、测试和设定武器操作规则来行使控制，而非批准每一次攻击。
这种转变引发了当今最重要的政策辩论之一。最终，人类对“杀手机器人”的控制权，可能取决于两个关键短语之间的博弈：“有意义的人类控制” 与 “适当的人类判断”。
一场高风险的语义之争
在21世纪10年代初的国际讨论中，“有意义的人类控制” 作为首个框架出现，旨在规范人类在自主武器部署中的参与程度。
然而，这个术语立即遭到了美国和俄罗斯等国的反对。
- 定义模糊： “有意义”究竟意味着什么？“控制”又指什么？各方没有共识。
- 难以达成一致： 让众多国家就“有意义的控制”的标准达成一致，被证明是“一项几乎不可能完成的任务”。
尽管定义从未完全固定，但这个词语足以推动关于如何监管自主武器的国际对话。海军战争学院斯托克顿国际法中心的专家莉娜·特拉布科（Lena Trabucco）解释说：“我们大致都明白我们想要抓住的核心思想，即使我们没有在具体标准上达成一致。”
在这个国际背景下，“有效果的控制” 通常被理解为在武器开火的那一刻，必须有人类参与。但从美国的角度来看，这个定义留下了许多未解决的问题。
“武器的释放理论上可能比武器实际击中目标提前几分钟、几小时、几天甚至几周。”
例如，一架无人机可以被释放去扫描指定区域，并在空中停留数小时，寻找符合其目标标准的任何东西。从人类启动无人机到机器找到并攻击目标之间，可能过去了几秒、几分钟或几小时。这种时间上的延迟，使得“有意义的人类控制” 框架难以在实际操作中发挥预期的作用。
因此，美国采纳了自己的替代方案：“适当的人类判断”。
五角大楼的替代方案：“适当的人类判断”
美国国防部的一项关键指令指出：“自主和半自主武器系统的设计应允许指挥官和操作员对武力的使用行使适当水平的人类判断。”
这一新措辞有效地将人类干预的必要节点从武器开火的瞬间，转移到了对系统整个生命周期的监督——从设计、开发到部署。
灵活适应场景： 特拉布科解释说，在某些情况下，例如在公海上，平民风险较低，因此对人类控制的要求可以不那么高。但在城市环境中，平民伤亡风险大，就需要高标准的人类控制。“适当”一词提供了这种灵活性。
从“控制”到“判断”的转变： 斯坦福大学国际安全与合作中心的高级军事研究员布拉德·博伊德（Brad Boyd）解释说，自动化的目标是更快、更精确。与其坚持人类参与每一个环节从而拖慢作战节奏，美国的目标是确保自主系统的行为符合法律和道德标准。
“我们真正想要的不是控制。我们真正想要的是机器能反映我们的价值观、法律和法规。当人类运用我们的价值观、法律和法规时，我们称之为判断。”
谁来决定什么是“适当”的？
尽管“适当的人类判断” 旨在避免设定一个通用标准，但它并非空洞无物。根据国防部的指令，该框架要求：
- 测试系统
- 定义操作限制
- 评估可能的平民伤害
- 培训操作员
- 设定交战规则
然而，这个框架自身也存在一个核心难题：谁来决定多少人类判断是“适当”的？ 当开发这些技术的私营部门在我们找到答案之前就采纳了这种语言时，又会发生什么？
私营部门被迫选边站
就在俄罗斯发动自主无人机袭击的同一个月，OpenAI 修改了其关于技术军事用途的政策。三年前，OpenAI 还完全禁止其技术用于“军事和战争”。现在，一份新的政策文件为军事应用，特别是涉及使用致命武力的决策，设定了条款。
最引人注目的是，OpenAI 借用了一个熟悉的短语：适当的人类判断。
“适当的人类判断，并不要求对每一个离散的系统行动都做出人类决定。”
这份文件指出，该框架要求“人类就部署条件做出明智的决定”。通过支持五角大楼的灵活框架，OpenAI 接受了这个标准没有固定含义的现实，其应用将由军事官僚机构逐案决定。
这无疑使 OpenAI 成为五角大楼更有用的盟友，但也让公众更难知道人类判断的终点和机器控制的暴力从何处开始。随着自主武器的发展和部署迅速加速，我们现在就应该问一个问题：
“适当的人类判断”到底意味着什么？
为了人类的福祉，澄清监管自主武器的语义至关重要——否则，我们可能面临完全失去控制的风险。