这篇内容深入探讨了 Ilya Sutskever 和 Dwarkesh Patel 对人工智能发展的观点。Ilya 认为，当前的训练方法正逐渐失效，未来进展将依赖于新的研究思路，并预测超智能模型可能在 5-20 年内出现。他领导的 SSI 是一家纯粹的研究机构，专注于技术探索而非产品开发。关于 AI 对齐，Ilya 承认自己没有明确的长远方案，倾向于通过尽早、频繁地展示模型来逐步调整。Dwarkesh 则认为，真正具备人类学习效率的 AGI 尚需 10-20 年，但届时将引发颠覆性变革。两人都承认，AI 的经济影响滞后于其模型能力，且现有模型的学习效率远不如人类。
模型能力的参差与经济影响
尽管 AI 的发展如同科幻小说，但其在现实经济中的影响似乎并未跟上模型智能的步伐。Ilya Sutskever 指出，模型在评估测试中表现出色，但实际应用中漏洞百出，这导致了经济影响的滞后。
- 评估具有误导性： AI 在评测中取得高分，是因为人类实际上在“奖励 hacking”这些评测，即根据评测标准来调整模型的强化学习方向。
- 缺乏直觉： AI 的学习方式更像是为了应试而死记硬背，而不是通过直觉掌握知识。它们不具备人类那种“一点就通”的天赋，而是依赖于海量数据。
- 能力与影响脱节： 目前，AI 的综合能力与其在基准测试中的表现存在差距，因此其实际应用价值尚未完全体现。
模型就像一个超级有才华的学生，但他几乎不需要练习就能掌握一项特定任务。模型不具备这种‘天赋’。如果说有什么不同，那就是模型拥有‘反天赋’。它们靠量取胜。
情感与价值函数
人类能用少得多的数据进行更“深入”的学习，我们不会犯某些 AI 会犯的低级错误，这体现了一种人类特有的“常识”。那么，机器学习中与“情感”类似的概念是什么？
Ilya認為，情感类似于一种 价值函数，它在你做事时告诉你表现得好还是坏。这种机制虽然并非不可或缺，但在人类决策中扮演着重要角色。如果一个原本依赖情感获取信息或解决不确定性的人突然失去了情感，就会出现大问题。
我们在扩展什么？
长期以来，AI 发展的核心是扩展（Scaling）数据、参数和算力。但现在，这种模式正面临瓶颈。
- 数据即将耗尽： 即使像 Gemini 3 这样的模型能更高效地利用数据，我们很快也会用完高质量的训练数据。
- 扩展的边际效益递减： Ilya 认为，即使算力再增加 100 倍，如果方法不变，也不会带来质的飞跃。
- 研究时代回归： 强化学习（RL）的成本现在已超过预训练。这意味着“砸钱硬上”的时代正在过去，行业需要回归到研究模式，尝试有趣的新想法。
为何人类泛化能力更强
AI 需要比人类多得多的数据才能学习，这是为什么？
主要原因是我们的 AI 学习技术还相对 原始且数据效率低下。虽然人类接收的数据（如感官体验）比纯文本更丰富，但这并不能完全解释这种差异。Ilya 相信，人类高效的学习能力主要源于强大的学习功能，而非复杂的先天知识。
我会澄清，这不是一个复杂的专业化先验知识。在某些关键领域也存在复杂的专业化先验知识，但这是在非常强大的学习功能之外的补充。
直奔超级智能
SSI (Safe Superintelligence Inc.) 的策略是专注于研究，而非产品。这种模式使其能够高效利用资金。
- 资源集中于研究： SSI 的所有算力都用于研究，而不是模型推理。由于不做产品，他们可以用相对较少的资源尝试更大胆的想法。
- 资金来源： SSI 通过成为一家充满天才研究员的 AI 公司来吸引投资。正如 Matt Levine 所说，你通过成为一家人们愿意给钱的 AI 公司来赚钱。
- 可能的产品： 尽管以研究为核心，SSI 也在考虑推出产品，部分原因是超级智能的时间线可能很长。
SSI 的模型将从部署中学习
Ilya 设想，即使有直达超级智能的路径，部署也必须是渐进的。他同意 持续学习 的重要性，即模型通过与世界互动来不断学习和进化，超级智能并非一个“完成品”。他预计这将带来“非常迅速”的经济增长，但这种增长的速度和形态将取决于各地的规则。
对齐问题
如果 AI 的学习能力达到人类水平，并且能“融合大脑”，我们如何确保结果是好的？SSI 的计划是什么？
Ilya 的核心策略是 增量式和预先部署。他认为，我们很难提前预测强大 AI 的影响，因此“你必须尽早展示这个东西”。
“问题在于力量。当力量真的很大时，会发生什么？如果很难想象，你该怎么办？你必须展示这个东西。”
这种策略实际上是一种“摸着石头过河”的方法，缺乏长远规划，近乎于承认失败。等到我们能亲眼看到问题时，可能为时已晚。
Ilya 对未来的一些设想包括：
- 让 AI 关心所有生命： 他认为让 AI 关心“ sentient life in general”（泛指有感知能力的生命）比只关心人类“更容易”，因为 AI 本身也将是 sentient。但如果 AI 不特别关心人类，人类的未来就堪忧。
- “限制”超级智能： 他希望最强大的超级智能能被“以某种方式限制”，但他承认自己不知道如何做到。
- 个人 AI 的风险： 他设想每个人都有一个 AI 助手，但这可能导致人类不再亲自参与任何事务，只是对 AI 说“继续干”，这是一个“ precarious”（不稳定）的局面。
Ilya 承认，目前没有已知的完美解决方案，包括“脑机接口”也无法真正解决这些根本问题。
“我们是一家纯粹的研究型公司”
Ilya 强调 SSI 的独特性在于其技术路线。他相信，随着 AI 变得更强大，所有公司最终会在安全策略上达成共识。
“最终策略会趋同。当 AI 变得更强大时，每个人都会或多或少地清楚策略应该是什么。它应该是，你需要找到某种方式相互沟通，并且你希望你的第一个真正的超级智能 AI 是对齐的，并以某种方式关心 sentient life，关心人类，是民主的……我认为这是每个人都应该努力的条件。”
然而，这种对“合作与责任感会自然出现”的期望，与迄今为止观察到的现实并不相符。Ilya 对超级智能的时间线预测是 5-20 年。
연구 품위
什么构成了“研究品味”？Ilya Sutskever 分享了他的个人方法：
“指导我的是一种关于 AI 应该如何存在的美学，通过思考人类是怎样的，但要正确地思考……我认为这在很大程度上指导了我，从多个角度思考，寻找近乎美的东西，美与简洁。丑陋，没有丑陋的容身之地。是美、简洁、优雅、来自大脑的正确启发。所有这些东西需要同时存在。它们越是存在，你对一个自上而下的信念就越有信心。自上而下的信念是在实验与你相悖时支撑你的东西。”
附：Dwarkesh Patel 对当前 AI 进展的看法
Dwarkesh Patel 认为，当我们得到他所谓的“真正的 AGI”（即拥有人类般学习能力的 AI）时，事情会变得“fucking crazy”（极其疯狂），但他认为这需要 10-20 年。
- 对当前方法的怀疑： 如果我们真的接近一个类人学习者，那么当前这种预先“烘焙”各种技能的 RLHF 方法就注定要失败。真正的人类不需要为他们可能使用的每一种软件都进行专门的训练。
- “真正的 AGI”定义： Dwarkesh 将“真正的 AGI”定义为不仅能在任务上达到人类水平，而且在 学习效率上也要达到人类水平 的 AI。这样的 AI 加上其固有的数据处理优势，将直接成为超级智能。
- 经济影响滞后的原因： 他认为，“经济扩散滞后”是对当前模型能力缺失的一种“托辞”。真正的问题是，AI 尚未具备人类那种在职学习和即时泛化的能力。
- 对未来的警告： 他认为，人们因为只看到了当前 AI 的局限性，而严重低估了“真正的 AGI”一旦出现将带来的巨大变革。
“事实上，我认为人们真的低估了‘真正的 AGI’会有多大的影响，因为他们只是在想象当前这种状态的延伸。他们没有想到一个服务器上有数十亿个类人智能，它们可以复制和融合所有学习成果。需要明确的是，我预计这（也就是‘真正的 AGI’）将在未来十年或二十年内出现。这太他妈疯狂了！”