通过具体的情景模拟来检验和完善人工智能政策是一种至关重要的方法。许多抽象的政策建议，如空洞的口号、错误的类比或乐观的假设，在实际推演中往往会暴露出缺陷。因此，政策制定者应通过撰写详细情景，不断追问“接下来会发生什么？”并审视各方动机，以确保政策在多种未来可能性中都行之有效，从而提升其现实意义和稳健性。
情景审查能揭示的政策弱点
将抽象的政策提案置于一个具体的情景中进行推演，可以暴露其固有的弱点。这种“情景审查”有助于发现并弥补政策的不足之处。
以下是一些通过情景审查可以发现的典型政策问题：
空洞口号： 许多提案听起来很好，但缺乏实质内容，仅仅是诉诸于一些无可争议的价值观。例如，呼吁“民主、跨国地发展AGI”。当你尝试描绘一个实现这一目标的具体场景时，可能会发现除了“民主是好事”之外，并没有任何可行的计划。情景审查迫使我们将这些模糊的口号具体化。
错误类比： 有些政策建议依赖于不恰当的类比。例如，有人认为AGI自动化就像过去的技术变革一样，政府只需提供“再培训计划”即可。但如果我们具体设想一个场景：通用人工智能自动化了所有知识工作，接下来会发生什么？
- 失业的白领能否转向蓝领工作？
- 自动化研究需要多久才能让机器人也取代蓝领工作？
- 出租AI劳动力的实验室其根本动机是什么？
通过这种方式思考，我们会发现AGI与以往的技术根本不同，因为它也能胜任人类计划转移到的新岗位，这使得“再培训”成为一个糟糕的提议。
未经审视的后果： 抽象的论证往往回避了对目标背后复杂后果的探讨。例如，许多AI战略的核心是“在AGI竞赛中击败中国”。但是，正如Gwern所质问的：
“然后呢？……你获得了AGI并公开炫耀，对方意识到战略失误并宣布进入国家紧急状态，在一年内追赶自己的AGI……然后呢？在你享受AGI霸权的这一年里，你具体要做什么？……发动大规模网络攻击？游说联合国禁止竞争对手的AGI？还是什么都不做，享受一年10%的GDP增长，然后等待对手的AGI部署？” 一个具体的情景要求你回答这些具体问题，而“赢得竞赛”这个口号本身则不需要。
乐观假设与被忽视的激励： 政策提案常常在不经意间依赖于乐观的假设，特别是假设某些参与者不会遵循自身利益行事。例如，在提议一项关于AI安全的国际协议时，你可能会忘记，那些默认在进行AGI竞赛的国家，很可能正在寻找破坏协议的方法。一个有用的思考框架是：
世界是否处于均衡状态？ 也就是说，考虑到他人的行动和面临的约束，每个参与者是否都已采取了最符合自身利益的行动？问这个问题有助于发现那些可能破坏政策目标的潜在行为。
内部矛盾： 情景审查还能揭示政策不同部分之间或政策与预测之间的矛盾。例如，在设想中美两国在任一方达到超人级程序员水平前同意暂停研发时，会发现一个问题：没有可靠的验证技术，这样一份协议将难以执行。这个发现反过来又会改变当前的政策优先事项，比如推动“验证技术领域的曲速行动”。
忽视关键问题： 一个情景可以让你看到，你提议的政策可能并未触及问题的核心。以AI责任为例，想象一下2027年，一家公司正在内部部署其强大的AI系统以加速研发，但同时不确定该系统是否可控。而其竞争对手仅落后两个月。
- 如果该公司继续推进，可能面临失控风险。
- 如果该公司关停项目，则会将领先地位拱手相让。 > 在这种高风险的竞赛动态中，早先制定的责任法案能起到多大作用？它可能阻止了一些公开部署的风险，但对于决定未来走向的核心困境却无能为力。
情景审查的潜在成本
尽管情景审查非常有用，但也存在一些需要注意的成本：
- 纠结于细节： 情景本身无法清晰区分哪些是高置信度的预测，哪些是低置信度的猜测，这可能导致讨论偏离重点。
- 信息密度过高： 与可以一目了然的抽象原则相比，阅读一个完整的情景需要更多时间。虽然它更易于理解和引人入胜，但为节省时间，仍需提供可快速浏览的要点清单。
- 虚幻的信心： 将想法具体化后，人们可能会对自己观点更加自信，但实际上可能仍然忽略了故事中的关键模糊点。
- 过度锚定特定情景： 最大的风险是过度依赖某个特定情景。未来难以预测，因此政策需要具备稳健性，即在多种可能的未来中都能发挥作用。
最终，如果你有关于如何让先进AI向好发展的政策建议，我们挑战你将其具体化，并进行严格的情景审查。只有这样，我们才能就未来的可能性以及各种政策的利弊展开严肃的对话。