通过分析数百万次真实世界的人机交互,一项研究揭示了 AI 代理的实际应用模式。研究发现,代理的自主工作时长显著增加,而经验丰富的用户倾向于采用“自动批准、必要时干预”的监督策略。值得注意的是,代理自身会主动暂停以请求澄清,展现出一定的自我监督能力。尽管当前应用主要集中在风险较低的软件工程领域,但在金融和医疗等高风险领域的应用已初见端倪。因此,有效的监督需要结合模型、用户与产品设计,重点在于加强部署后监控和设计灵活的用户干预机制,而非强制性的审批流程。
代理的自主工作时长正在增加
数据显示,AI 代理在无人干预的情况下自主工作的时间正变得越来越长。
- 在最长的会话中,Claude Code 停止前的自主运行时间在三个月内几乎翻了一番,从不到 25 分钟增加到超过 45 分钟。
- 这种增长是平稳的,并未随着新模型的发布而出现剧烈跳跃。这表明,增长并非纯粹由模型能力的提升驱动。
这揭示了一个显著的 “部署悬置” 现象:模型实际能够处理的自主性,超过了它们在实践中所应用的程度。
经验丰富的用户改变了监督方式
随着用户经验的积累,他们与代理的协作方式发生了显著变化,这看似矛盾,实则反映了监督策略的演进。
- 更频繁地自动批准: 随着经验增加,用户倾向于让代理自主运行,而不是逐一审查每个动作。新用户中使用完全自动批准的会话约占 20%,而经验丰富的用户则超过 40%。
- 更频繁地中断: 与此同时,经验丰富的用户中断代理执行的频率也更高(从新用户的 5% 上升到 9%)。
这并非矛盾,而是反映了用户监督策略的转变。新手倾向于 “事前批准”,而经验丰富的用户则转向 “事后干预”,在发现问题时才介入。
有效的监督并不意味着批准每一个动作,而是在关键时刻有能力进行干预。
代理会主动暂停以寻求澄清
监督并非完全由人类主导,AI 代理本身也在主动参与这一过程。当代理不确定如何继续时,它会主动暂停并请求用户澄清。
在最复杂的任务中,Claude Code 主动请求澄清的频率是人类用户中断它的两倍多。这表明模型具备一定程度的、关于自身不确定性的校准能力。
- 代理主动暂停的原因:
- 提供不同方案供用户选择 (35%)
- 收集诊断信息或测试结果 (21%)
- 澄清模糊或不完整的请求 (13%)
- 用户中断代理的原因:
- 提供修正或技术背景 (32%)
- 代理运行缓慢或卡顿 (17%)
- 已获得足够帮助,可以独立继续 (7%)
这一发现强调,训练模型识别并基于自身不确定性采取行动,是与人类监督和权限系统互补的一项重要安全特性。
风险与应用领域分析
对代理应用场景的分析显示,当前的使用情况呈现出鲜明的特点。
- 主要应用领域: 软件工程占了近 50% 的代理活动。代码可测试、可审查的特性使其成为理想的早期应用场景。
- 新兴高风险领域: 尽管规模不大,但在医疗保健、金融和网络安全等领域的应用正在出现。
- 风险与自主性的关系: 大多数活动风险较低,且通常可逆。然而,高风险、高自主性的应用场景虽然稀少,却并非不存在。例如,研究观察到了涉及金融交易、处理医疗记录甚至模拟网络攻击的用例。
这表明我们正处于代理应用的早期阶段。随着技术向更多行业渗透,高风险应用的范围和频率可能会随之扩大。
对未来发展的建议
这项研究的核心结论是,代理在实践中表现出的自主性是由模型、用户和产品三者共同塑造的。基于此,对未来的发展提出以下建议:
- 投资部署后监控: 预部署测试无法完全反映真实世界的使用情况。必须建立基础设施来持续观察和理解代理在实际应用中的行为模式。
- 训练模型识别不确定性: 鼓励模型在不确定时主动向人类求助,这是一个重要的安全特性,可以补充外部的监督机制。
- 为用户监督而设计产品: 产品应提供清晰的可见性和便捷的干预机制,支持用户从“逐一批准”转向“主动监控”。
- 避免强制性的交互模式: 强制用户批准每一步操作可能会带来摩擦,却不一定能提升安全性。政策和设计的重点应放在确保用户有能力在必要时进行有效干预,而不是规定具体的交互形式。