人工智能（AI）的发展可能带来颠覆性影响，甚至构成生存性风险。其进步主要依赖 计算能力 和 算法 两大要素。其中，由算法驱动的进步更可能引发不可控的“奇点”事件，因为它不依赖于物理世界的实体。由于企业拥有芯片（计算能力）却不拥有员工（算法创造者），限制竞业禁止协议可以鼓励人才流动，从而促使企业更倾向于投资相对更安全的计算能力。在监管层面，无论是选择垄断还是多企业竞争的市场结构，都有利有弊，而灵活调整的产量限制是理论上有效但实践中困难的策略。
AI 发展的两种路径
可以将 AI 的发展看作依赖于两种输入：
- 计算能力： 通过增加物理芯片等硬件资源来提升性能。
- 算法： 通过改进软件和模型逻辑来提升效率和智能水平。
如果机器的智能与物理世界的东西（如芯片）绑定在一起，那么关闭它可能会更容易。
相较而言，由算法驱动的进步更令人担忧，因为它脱离了物理限制，可能导致智能的爆炸性增长，即“奇点”事件。一旦 AI 能够自我改进算法，无论其最初是通过何种方式创造的，风险都会急剧增加。因此，一个核心观点是：引导 AI 发展偏向计算能力的提升，是更安全的选择。
公司激励与政策杠杆
AI 公司在发展路径上会做出自己的选择。它们拥有自己购买的芯片，但无法“拥有”开发算法的员工。当员工可以自由流动时，公司投资于人力资本（即算法开发）的风险就更高，因为这些知识和技能随时可能随着员工的离职而流向竞争对手。
- 限制员工流动（如竞业禁止）： 使公司更愿意投资于算法研发，因为他们可以更长久地留住掌握核心算法的人才。这可能加速通往“奇点”的风险路径。
- 保障员工流动（如加州禁止竞业协议）： 迫使公司将投资重点放在它们能够完全控制的资产上，也就是 计算能力。这间接降低了算法突破带来的突发性风险。
因此，禁止竞业禁止协议，可能是一种有效降低世界终结风险的政策工具。
监管策略的困境
如何监管一个充满不确定性的技术是一大难题。
- 直接征税： 如果将 AI 视为一种纯粹的负外部性产品（例如加剧心理健康问题），理论上可以通过征税来调节。但要精确识别并对“有问题的特性”征税，在实践中并不可行。
- 数量限制： 更好的方法可能是在技术发展初期设定一个产量硬性上限，并随着我们对技术风险的了解加深而动态调整这个上限。然而，这要求监管者拥有完美的执行能力，而现实是技术可能在监管者不知情的情况下实现“起飞”。
垄断与竞争的权衡
假设我们只能在“由一家公司垄断开发”和“由多家公司竞争开发”之间做选择，两种模式各有利弊。
垄断模式
- 优势： 垄断者可以进行长期投资，而不必担心其技术或人才被竞争对手挖走。它也可能倾向于减缓新技术的推出速度，从而为社会提供更多的反应时间。
- 劣势： 权力过于集中，一旦方向错误，后果不堪设想。
多企业竞争模式
- 优势： 由于人才可以自由流动，企业会更倾向于投资计算能力而非人力资本。
- 劣势： 竞争压力可能促使企业采取更冒险的策略，因为在发生全球性灾难时，单一公司承受的损失相对较小。
总而言之，推动发展向计算能力倾斜似乎是更稳妥的策略。如何量化这些风险并找到最佳的监管路径，需要公众的广泛参与和讨论。