硅谷的顶尖 AI 公司正竞相开发能自我改进的智能机器，这一趋势引发了公众的广泛担忧和业界的巨大热情。尽管目前 AI 的自我提升仍是零散的，且需要大量人类监督，但其已能通过自主编程显著加快研究进程。业界领袖预测，未来十年内可能出现完全自动化的 AI 研究员，这种加速发展的态势带来了技术突破的希望，也伴随着公共政策难以跟上、人类可能失去控制的巨大风险。
疯狂的竞赛与公众的恐惧
旧金山的抗议活动反映了公众对 自我改进型 AI 的深切忧虑，人们担心这会创造出无法控制的“天网”。然而，在硅谷内部，从初创公司到行业巨头，所有人都为同一件事而疯狂：能让自己变得更聪明的计算机。
- OpenAI 宣称其新模型在“创造自身”的过程中发挥了作用，并计划推出“实习生级别”的 AI 研究助理。
- Anthropic 表示，公司高达 90% 的代码已经由其 AI 模型 Claude 编写。
“我们开始看到 AI 的进步正在反馈于其自身。” — AI 风险研究哲学家，尼克·博斯特罗姆
许多业内人士相信，我们正处在一个 AI 能够迅速提升自身能力的临界点。这意味着技术突破的周期可能从数月缩短到数周。
从辅助工具到自主研究
自我改进机器的想法并不新鲜。早在 1960 年代，统计学家 I. J. Good 就提出了 递归式自我改进 的概念，他认为能够训练出更强后代的机器将是社会所需的“最后一项发明”。
在过去，这似乎遥不可及。但随着 AI 编程能力的飞速提升，硅谷开始沉迷于此。AI 研究涉及大量繁琐工作，如整理数据集和重复实验，而编程机器人能极大地提高这些工作的效率。
目前，AI 对研究的自动化仍是 零散的，而非递归的。
- AI 工具可以编写代码、寻找微小的优化，并加速研究过程中的某些独立环节。
- 人类仍然扮演着至关重要的角色，尤其是在提出新假设、设计实验和分配计算资源等方面。
- AI 尚未具备顶尖软件工程师所拥有的，那种被称为 “研究品味” 的创造力和判断力。
未来的目标是让 AI 从执行指令的程序员，转变为能自主提出研究想法的科学家。
雄心勃勃的未来与现实的制约
AI 的支持者和担忧者都相信，那个未来已为时不远。
- Sam Altman 计划在 2028 年前开发出完全“自动化的 AI 研究员”。
- 有研究者预测，到 2032 年，AI 研发可能被完全自动化。
“我看不出它有任何理由会放慢速度。” — AI 编码能力研究员，Neev Parikh
然而，也有充分的理由对此表示怀疑。让 AI 产生“研究品味”可能需要革命性的技术突破，而非简单的能力提升。此外，资金、芯片和能源等现实限制也可能随时阻碍其发展。正如 DeepMind 的副总裁所说，机器人可以优化事物，但它本身“没有什么可优化的目标”，“这就是人类介入的地方”。
无法回避的加速与滞后的社会
即便关于递归式自我改进的幻想最终只是营销噱头，但研究自动化的边际改进也必将进一步 加快 AI 的发展速度。
这带来了严峻的挑战：
- 改变 AI 竞争格局 和地缘政治。
- 公共政策远远落后。政府机构仍在适应互联网时代的技术，更不用说应对飞速发展的 AI。
- 安全与监管的缺位。当 AI 发展得越来越快，政策制定几乎没有希望跟上其步伐。
讽刺的是，无论这些预测是否成真，它们本身已经产生了巨大影响。顶尖研究人员已将 AI 研究的自动化列为行业“最严重和最紧迫的”风险之一。AI 行业再次成功地将其技术炒作推向了新的高度，而社会必须开始认真对待其可能带来的深远后果。