在“AI 2040：方案 A”发布后，仍有大量关于人工智能未来的不确定性。为确保人类能成功驾驭“智能爆炸”，需要对“方案 A”的可行性与可取性进行深入研究。本文概述了几个关键的研究领域，包括构建与“方案 A”竞争的替代情景、研究如何防范秘密项目、完善国内治理与验证机制、建立更精确的经济模型，并探讨“方案 A”中的具体执行细节。其核心目标是鼓励更多人参与到为人工智能发展规划一条有益路径的工作中来。
撰写额外的规范性情景
目前，许多应对“智能爆炸”的计划都停留在抽象层面，缺乏具体的推演，导致难以评估其优劣。因此，有必要建立一套包含多种具体情景的方案库，特别是那些可与“方案 A”竞争的计划。
- 方案 S：无限期暂停。 至少暂停所有前沿人工智能能力研发数年，直到在对齐、谎言检测器或人类智能增强等方面取得进展。
- 国内优先方案 A。 首先在国内进行充分监管，以降低人工智能接管风险。如果其他国家也采取类似措施，则可能无需启动全球性的“方案 A”。
- GPU 军备控制。 效仿历史上的军备削减协议，通过国际协议限制各国的 GPU 库存或流量。
- 人工智能领域的 CERN。 建立一个国际合作项目来开发前沿人工智能，同时通过监管确保所有其他项目的能力远落后于该项目。
此外，对“方案 A”进行微调的情景也很有价值。例如，可以设想一个通过限制算力而非算法来控制风险的“方案 A”版本，这可能更具可执行性。
秘密项目的进一步研究
如何预防、威慑或检测秘密的人工智能项目是一个存在巨大不确定性的领域，需要进一步分析以找到有效的应对策略。
- 关键研究问题：
- 政府或私营部门能否采取短期行动，以显著降低秘密项目的可行性？
- 我们能否及早判断“权重盗窃”（weight theft）是否可以被有效阻止？
- 如何更好地限制通过“蒸馏”（distillation）技术所能获得的能力增益？
- 削减研发算力能在多大程度上减缓技术“起飞”？目前的估计是，算力减少 10 倍，智能爆炸的速度会减慢 6 倍。
美国国内治理
在智能爆炸期间，政府将面临来自行业的巨大经济压力和来自公众的巨大反AI舆论压力，因此，完善治理结构至关重要。
- 需要思考的议题：
- 设计一个理想的 AI 监管机构。 这个机构需要具备良好的认知能力、能抵抗被俘获、拥有健康的内部激励，并与现有权力结构兼容。
- 提出改善政府通用职能的措施。 在社会剧变时期，一些在今天看来不可能的政府改革方案（例如，简化技术人才招聘流程，甚至修改宪法）可能会变得可行。
验证
验证机制是确保协议有效执行的关键。
- 重点研究领域：
- 构建“仅限推理”的改造能力（inference-only retrofit）。 这项工作已在进行中，但需要更多努力。
- 加速“AI 银弹”技术。 特别是（i）保护隐私的 AI 审计技术和（ii）谎言检测器。尽管谎言检测器存在弊端，但以公开透明的方式加速其发展总体上是有益的。
经济学
关于人工智能的经济影响，存在两种截然不同的观点：主流经济学家认为将维持现有增长趋势，而另一观点则预测将出现由超人 AI 驱动的爆炸性经济增长。由于这种分歧，严肃对待通用人工智能（AGI）的经济学研究非常稀少。
- 具体的经济学研究项目：
- 创建一个更好的经济模型。 现有模型相对粗糙，需要经济学专业知识来改进。
- 思考现实情景中机器人的倍增时间。 在不同的方案（如方案 A-D）下，建立一个完整的“工业爆炸”模型。
- 建立模型分析不同方案对 AI 产业的影响。 包括公司估值、利润、前沿公司的数量等。
“方案 A”的其他细节
“方案 A”的成功实施还依赖于解决一系列具体问题。
- 限制 AI 的说服能力。 我们需要为允许和不允许的行为制定一套具体的标准。 > 这其中涉及到棘手的哲学问题：“帮助他人学习新知识”与“说服他们你是对的”之间究竟有何区别？
- 制定国防开支计划。 在“方案 A”下，国防预算巨大。如何最有效地利用这笔预算来应对生物、网络、说服等威胁？
- 机器人领域的“总量管制与交易”（cap and trade）。 与 GPU 不同，机器人没有一个自然的性能指标。需要找到一个可行的管制方案。
- 军事军备控制。 美国和中国是否应该同意限制 AI 超级武器？这需要在“秘密研发被他国赶超”和“公开军备竞赛”两种风险之间做出权衡。
- 地缘政治分析。 政治专家需要分析：(i) 中国将如何看待“方案 A”式的协议？ (ii) 是否存在政治上更容易实现但仍能捕获大部分好处的“方案 A”变体？
- 理解软件进步的规律。 如果我们限制需要大量算力的大规模实验，这会在多大程度上减缓软件的进步？
目前，试图为智能爆炸规划有益路径的人还太少。如果你对上述任何问题感兴趣，都应积极思考。为了推动这项工作，我们正在考虑为有用的后续研究设立奖金。