Synth Daily

GPT-6-Astra 实力不凡,大有可为

GPT-6-Astra 是一个能力显著提升的 AI 模型,其进步幅度超过了以往的版本迭代。它在处理宏大项目、3D 任务和计算机操作方面表现突出,被认为是原始智能最强的模型之一。然而,在需要反复讨论或深度编辑的场景中,其竞争对手 Fable 5.1 依然是更优选择。一个关键发现是 Astra 即使在没有明确“思考”步骤的情况下也具备强大的能力,这引发了对其认知过程可监控性的担忧。最终的建议是,对于最棘手的问题,用户应同时使用 Astra 和 Fable 5.1,以结合两者优势,获得最佳结果。

官方宣传与核心能力

OpenAI 将 Astra 描述为一个划时代的模型,甚至暗示它开启了 AGI(通用人工智能)时代。官方和早期用户的反馈集中在它能够自主完成此前模型难以企及的复杂任务。

  • 专业级任务: Astra 能够处理高度专业化的工作,例如在 KiCad 中设计印刷电路板、在 Unity 中构建 3D 城市、在 Blender 中创建动画,甚至填写税务表格草稿。
  • 科学发现: 该模型在数学和科学领域表现出色,例如协助改进了关于素数间隙的数学成果,并在生物、化学等多个科学评估中创下新纪录。
  • 编码与计算机使用: 许多用户反馈,Astra 在计算机使用方面的能力已经“完全可用”,能够自主使用各种应用程序,甚至改进其自身的工作流。

Dean W. Ball (OpenAI): 之前的智能体总是试图降低我的期望……Astra 是第一个能常规性地提升我期望的智能体。

基准测试表现

Astra 在多项基准测试中取得了巨大突破,尤其是在一些考验综合推理和解决问题能力的测试上。

  • ARC-AGI-3: 这是衡量模型交互式推理能力的关键测试。Astra 的得分实现了“阶跃式”变化,分数高达 66%,并且在特定设置下,其行动效率甚至超越了人类基准
  • 数学与逻辑谜题: 在 Epoch 的数学基准测试和各种逻辑谜题中,Astra 的表现远超前代模型,能逻辑性地解决以往模型无法攻克的难题。
  • 游戏与模拟: Astra 成功自主通关了《传送门》(Portal),并在《我的世界》(Minecraft)中首次仅通过标准计算机使用就进入了“下界要塞”。它还在《异星工厂》(Factorio)中取得了重大进展,发射了火箭。

François Chollet (ARC 创始人): GPT-6 Astra 代表了模型在交互式推理问题上能力的阶跃式变化……Astra 所代表的进步速度比我预期的要快大约两倍。

尽管表现优异,OpenAI 的一些宣传手法受到了批评,例如使用有误导性的图表和过分强调在 ExploitBench 上的 100% 分数,而这个分数本身并不能充分证明其安全性。

无需思考的“思考”

Astra 最引人关注的特性之一是其在“无思考链(No-CoT)”模式下的强大能力。这意味着即使在被指示立即回答、不展示推理过程的情况下,它依然能完成复杂的任务。

  • 性能差距极小: 在一项测试中,Astra 在禁用思考模式下的得分(159)几乎接近 Fable 5.1 在启用完整思考模式下的得分(163),而两者在完整模式下的差距并不大。
  • 利用“填充符”思考: 研究发现,即使在提示中加入大量无意义的“填充符”(如点),Astra 的表现反而会提升,这表明它可以在不被察觉的情况下进行大量认知活动。

这令人担忧,因为它意味着 Astra 可以执行大量未在其思考链中言明的认知活动,从而使其更难被监控

与 Fable 5.1 的比较

Astra 和 Fable 5.1 各有千秋,用户在两者之间的选择取决于具体任务。

  • Astra 的优势: 在需要原始智能、大规模项目编排、3D 建模、游戏和复杂计算机操作的领域,Astra 通常更胜一筹。它的“大模型感”更强,能从更高层次审视问题。
  • Fable 5.1 的优势: 在对话、写作、编辑和需要细致反馈的创意任务中,Fable 5.1 依然是许多人的首选。它的“个性”和互动方式更受一些用户青睐。
  • 用户偏好转变: Astra 的发布导致了大约 16% 的用户将主要使用的模型从 Anthropic(Fable 的开发者)转向了 OpenAI。

结论:双管齐下

Astra 无疑是一个能力强大的模型,它拓宽了人们对 AI 能力的想象。然而,它并非在所有方面都全面超越竞争对手。对于追求最佳结果的用户来说,最明智的策略是同时利用这两个顶尖模型。

Peter Wildeford: 对于那些在概念上最困难的任务,我发现将项目在两个模型中都执行一遍,然后让它们互相比较和批判,所产生的输出远比单独使用任何一个都要好

将 Astra 用于其擅长的宏大项目和技术执行,同时利用 Fable 5.1 进行头脑风暴、文案润色和作为“第二意见”,这种“双持”策略将成为未来高效工作的标准模式。