SIMA 2：虚拟3D世界里的全能AI搭子

谷歌 DeepMind 推出的 SIMA 2 是一款集成了 Gemini 模型的通用智能代理，它不仅能在虚拟 3D 游戏世界中遵循复杂指令，还能进行推理、与用户互动并实现自我提升。与前代相比，SIMA 2 展现出更强的 泛化能力，能够跨越多个不同游戏执行复杂任务，甚至适应从未见过的新环境。其核心的 自我学习机制 允许代理通过试错不断进步，这为通用化、具身智能的发展开辟了新路径，并预示了 AI 在未来机器人和虚拟交互领域的广阔应用前景。

从指令执行者到交互伙伴

早期的 SIMA 只能在虚拟环境中遵循“向左转”或“爬梯子”这类基础指令。通过集成 Gemini 模型，SIMA 2 实现了质的飞跃，从一个单纯的指令执行者演变为能够与你一同游戏、思考和学习的 交互伙伴。

• 超越指令：它不再仅仅响应命令，而是能够理解用户的 高阶目标。
• 推理能力：利用 Gemini 的推理能力，SIMA 2 可以思考如何达成目标，并向用户解释它打算做什么以及具体的步骤。
• 协作体验：与它互动的感觉更像是与一个能够独立思考的同伴协作，而不是单向地发出指令。

与代理的互动感觉不再像是给它下命令，而更像是与一个能对当前任务进行推理的伙伴合作。

更强的泛化与适应性

Gemini 的加入显著提升了 SIMA 2 的 泛化能力和可靠性。它现在能够适应从未接受过训练的新游戏和新环境，表现出前所未有的适应力。

• 理解复杂指令：能够理解更长、更复杂的任务指令，甚至包括多种语言和表情符号。
• 跨游戏学习：可以将一个游戏中学到的“挖矿”概念，应用到另一个游戏中的“收割”任务上，这种能力是实现通用智能的基础。
• 接近人类水平：在一系列任务中，其表现已显著接近人类玩家的水平。

为了测试其极限，研究人员将 SIMA 2 放入由另一项研究项目 Genie 3（一个能根据文本或图像生成 3D 世界的模型）所创造的全新虚拟世界中。结果发现，即使在这些从未见过的环境中，SIMA 2 也能 自主定位、理解指令并采取有意义的行动。

自我提升的良性循环

SIMA 2 最令人兴奋的能力之一是 自我提升。它建立了一个无需人类干预即可持续学习的机制。

• 初始学习：代理首先通过人类演示进行学习。
• 自主探索：随后，它可以在新游戏中通过 试错和自我导向 的方式独立探索和学习。
• 反馈循环：Gemini 会为 SIMA 2 的行为提供初步任务和预估奖励，这些经验数据将被用于下一代代理的训练，使其在之前失败的任务上取得进步。

这种迭代改进的良性循环，为未来代理以最少的人类干预成为开放式学习者铺平了道路。

未来展望与当前局限

SIMA 2 为通用人工智能的研究提供了一条新的验证路径，证明了利用多世界数据和强大推理能力的模型，可以将多个专用系统的能力统一到一个通用的代理中。它在导航、工具使用和协作等方面学到的技能，也为未来物理世界中的 AI 助手（机器人）奠定了基础。

尽管取得了重大进展，但 SIMA 2 仍处于 研究阶段，并面临一些挑战：

• 长期任务：对于需要大量多步骤推理的超长、复杂任务，代理仍感吃力。
• 短期记忆：为了实现低延迟交互，代理的记忆（上下文窗口）相对有限。
• 精确操作：通过虚拟键盘和鼠标实现精确的底层操作仍然是一个开放性挑战。

该项目强调 负责任的研发，目前已向部分学术界和游戏开发者开放有限的预览测试，以便在探索其潜力的同时，收集反馈并评估相关风险。