Synth Daily

数学界正发生着件怪事

菲尔兹奖得主、数学家雅各布·齐默尔曼(Jacob Tsimerman)决定暂停其在多伦多大学的教职,加入 OpenAI 专注于 AI 安全领域。这一决定引发关注,因为他的专长是与 AI 无直接关联的数论。齐默尔曼认为,AI 在数学领域的能力正飞速发展,很快将超越人类,这使得理解和控制 AI 系统变得比提升其能力更为紧迫。他相信数学家可以为建立 AI 安全所需的理论基础做出贡献,并呼吁全球就 AI 发展进行协调,以应对潜在的巨大风险。

一位顶尖数学家的意外转向

今年的菲尔兹奖(被誉为数学界的诺贝尔奖)得主之一雅各布·齐默尔曼宣布,他将加入 OpenAI 从事 AI 安全工作。鉴于他在数论领域的卓越成就,这一决定让许多人感到意外。

  • 专业背景: 齐默尔曼因在安德烈-奥尔特猜想等方面的贡献而获奖,其研究领域此前并未直接涉及 AI。
  • 早期关注: 尽管如此,他早已对 AI 风险表现出兴趣。去年,他曾与人合著一份报告,概述了五种 AI 可能导致人类灭绝的潜在情景。
  • 重要时机: 他的加入正值 AI 安全和数学发展的关键时刻。近期,AI 在解决高难度数学问题上取得了突破性进展,同时其安全隐患也愈发凸显。

数学界正在进入一个“动荡时期”。 — Terence Tao,菲尔兹奖得主

AI 对数学领域的冲击

几年前,AI 模型还在为最基础的数学问题而挣扎,但如今它们已经能够解决专业数学家都引以为傲的研究级难题。

齐默尔曼认为,如果这一趋势持续下去,AI 系统很快将在数学研究方面稳健地优于人类。届时,整个数学领域的工作方式将需要被重新思考。

对于数学的未来,他看到了两种可能:

  • 积极的一面: 创造新数学知识的速度可能会加快 10 倍甚至 100 倍。纯数学与应用之间的转化周期(通常长达数十年)也可能被大大缩短。
  • 挑战的一面: 对于研究型数学家,尤其是年轻博士生来说,这是一个动荡的时期。他们多年来习得的技能可能变得不再那么重要

为何转向 AI 安全?

齐默尔曼关注 AI 话题已有二十年之久,并在 2016 年 AlphaGo 问世后投入更多精力。他认为,既然 AI 系统已经能够流利地对话,那么它们变得比人类更强大只是时间问题。

他选择现在全身心投入 AI 安全,主要有两个原因:

  1. 紧迫性: 他认为与提升 AI 能力相比,确保其安全性是更需要投入精力的方向
  2. 时机成熟: 如今的 AI 系统已足够强大,可以承担编程任务,这大大降低了非软件工程师背景的研究者(如他自己)从事相关实验的门槛。

数学家在 AI 安全中的角色

齐默尔曼指出,当前的人工智能更像一门经验科学,我们缺乏对其工作原理的深刻理论理解。

数学的历史作用就是将直觉和模糊的概念变得精确。我们希望通过精确的定义和理解,能更好地预测、调整和控制新的 AI 系统。这就是数学家可以发挥作用的地方。

他选择加入 OpenAI 而非留在学术界,是为了更好地了解 AI 训练和运行的整个流程,弥补自己在软件工程背景上的不足。他强调,一个健康的 AI 安全生态系统需要私营公司、学术界和政府监管三方的共同努力与互动。

对未来的呼吁:协调与谨慎

齐默尔曼支持一项由上千名 AI 公司员工签署的公开信,该信呼吁政府建立相应机制来“审慎调整自动化 AI 发展的步伐”。

他强烈反对那种“因为协调很难,所以干脆放弃尝试”的犬儒主义观点。他以互联网为例,证明尽管极其复杂,但通过大规模协调,全球合作是完全可以实现的。

我想传达的信息是,不要让犬儒主义阻碍我们为了所有人的利益去解决困难的协调问题。

普通人如何与 AI 互动?

随着 AI 能力的提升,任何人都可以让 AI 尝试解决开放的数学难题。但齐默尔曼建议,普通人与 AI 互动时应更侧重于从中学习和获得理解

  • 简单地命令 AI 去工作而自己不求甚解,这实际上是在削弱自己的能力
  • 在没有相关背景知识的情况下,用户很难判断 AI 生成结果的对错,这可能会产生大量无用的信息。
  • 他建议人们参与到 AI 的工作中,即使 AI 完成了大部分任务,也要确保自己在这个过程中有所收获。