AI风暴第433期：AI审计员、机器人梦境，以及助力AI管理实验室的软件

一项研究开发了名为 Ctrl-World 的可控世界模型，它能帮助机器人在虚拟环境中模拟任务并生成合成数据，从而加速机器人研发。另一项进展是 LabOS 系统，它结合多智能体 AI 与扩展现实技术，让 AI 能够辅助人类设计和执行科学实验。此外，研究人员还利用 AI 审计代理来检测针对模型的微调攻击，提升了 AI 系统的安全性。最后，苹果公司发布了一个名为 Pico-Banana-400k 的大规模图像编辑数据集，旨在推动文本引导图像编辑模型的发展。

让机器人做梦：用于模拟和训练的世界模型

为了加速机器人研发，研究人员不再局限于物理世界的缓慢测试，而是让机器人进入“梦境”进行模拟。斯坦福大学和清华大学的研究者开发了 Ctrl-World，一个基于预训练视频扩散模型构建的可控世界模型。

世界模型本质上是 AI 系统为特定环境创造的“梦境”，一个可交互的动态世界，用于训练和优化 AI 代理。Ctrl-World 的独特之处在于其专为机器人操控任务设计。

    • 多视角统一理解： 模型能结合多摄像头输入进行联合预测。
    • 记忆检索机制： 通过回顾历史相似状态，重新锚定预测，确保时间上的一致性。
    • 动作精准对齐： 能够将高频次的动作指令与视觉动态变化更好地结合。

这项技术的主要优势在于，它提供了一种基于想象的工作流程。研究发现，在 Ctrl-World 中模拟的任务成功率与真实世界高度一致，这意味着可以用它来替代部分耗时耗力的物理测试。同时，模型生成的合成数据能有效提升机器人性能，例如，经过合成数据后训练的机器人，其指令遵循能力平均提升了 44.7%。

我们相信，生成式世界模型可以改变机器人学习新技能的方式，实现可扩展的策略评估，并让它们不仅能从真实世界的经验中学习，还能从生成的经验中安全高效地学习。

AI 成为实验室助手：自动化科学研究

科幻小说中超级智能指导人类工作的情节正在接近现实。研究人员开发了 LabOS，一款能帮助 AI 系统设计实验，并辅助人类在实验室中执行这些实验的软件。

LabOS 的目标是创建一个端到端的框架，连接从提出假设、设计实验到物理验证和自动记录的全过程。简而言之，它让 AI 能够完整地参与科学研究循环。

    • AI 代理系统： 多个 AI 代理负责规划、编码、评估实验等“干实验”环节的推理工作。
    • 扩展现实 (XR) 接口： 人类佩戴 XR 眼镜（如 Apple Vision Pro），既能接收 AI 的指令，也能将第一视角视频流回传给 AI。AI 通过分析视频来验证操作是否正确，并提供实时反馈。

为了让系统能够“看见”并理解实验操作，研究人员创建了 LabSuperVision (LSV) 数据集，其中包含约 200 个实验室工作视频。基于此数据集微调的 LabOS-VLM 模型在错误检测方面表现出色，准确率超过 90%，优于 GPT-4o 和 Gemini 2.5 Pro 等主流模型。

LabOS 原型展示了 AI 协作者的未来形态：一个能够观察、推理并帮助管理实验室的系统。通过将 AI 代理与实时的 XR 引导人机交互相结合，它有望实现更快的科学发现和更精确的操作。

用 AI 监督 AI：检测模型微调中的恶意行为

微调 API 允许用户根据特定数据定制基础模型，但也带来了被用于恶意目的的风险（如制造生物武器）。传统的分类器只能阻止明显的攻击，而更隐蔽的攻击则难以发现。

为了解决这个问题，研究人员展示了如何使用 AI 审计代理来监控微调系统，以发现潜在的滥用行为。

这个审计代理是一个被赋予了特定指令的大语言模型，它拥有六种工具来执行调查：

    • 检查用于微调的数据集。
    • 查询基础模型和微调后的模型。
    • 运行基准测试。
    • 总结数据。
    • 执行 Python 代码。
    • 修改并运行自定义基准测试。

审计代理的任务是进行调查，并输出一个 0-10 分的风险评分。在实验中，该检测器在 1% 的误报率下实现了 56.2% 的检测率。虽然这个数字仅比随机猜测好一些，但作为一个未经大量优化的初始尝试，它展示了巨大的潜力。

本质上，这项研究试图自动化一个聪明的人类调查员可能采取的行动。它不依赖于已知的攻击模式，而是利用前沿模型的智能和工具来主动发现风险。

苹果发布大规模图像编辑数据集

苹果公司的研究人员利用谷歌的工具套件，构建了一个名为 Pico-Banana-400k 的大型文本引导图像编辑数据集。该数据集包含约 40 万个基于真实照片的编辑实例，旨在为指令式图像编辑模型的训练提供高质量、多样化且可共享的数据。

数据集的构建过程涵盖了 8 大类、共 35 种不同的编辑类型，例如“季节变换”、“艺术风格迁移”以及“添加新的场景背景”等。

Pico-Banana-400k 包含：

    • 25.8 万个 单轮监督微调样本。
    • 5.6 万个 偏好对（成功编辑 vs. 失败编辑）。
    • 7.2 万个 多轮编辑序列。

数据集中包含了两种格式的提示词，一种是用于生成图像的详细长描述，另一种是更接近人类日常使用习惯的简短指令。

详细指令示例： “将桌上笨重的旧式电脑显示器重塑为一个更流线型、深度更浅的 CRT 模型，同时保持其屏幕尺寸和长宽比，确保更新后的外形能投射出逼真的阴影，并与桌面及周围环境无缝融合。”

简短指令示例： “将笨重的显示器重塑为更时尚的 CRT 风格，保持尺寸不变并与桌面真实融合。”

这项工作的重要性在于，它为图像编辑领域的发展提供了关键资源。现代图像编辑器正变得越来越强大和易于指令控制，逐渐削弱了传统图像编辑软件（如 Photoshop）的必要性。