Signal 的高层警告称，在操作系统层面嵌入的自主 AI 代理（Agentic AI）带来了严重的安全风险。这些 AI 通过建立用户行为数据库来运行，但这种做法极易受到恶意软件的攻击，导致隐私泄露。同时，由于 AI 任务的概率性，其执行的可靠性非常低。因此，他们呼吁行业暂停部署此类技术，并优先保障用户的选择退出权，以避免信任危机。
AI 代理如何成为安全漏洞
自主 AI 代理的核心功能是代表用户自主执行任务，如购物或安排日程。为了实现这一点，它们必须访问大量用户的敏感数据。然而，目前这些 AI 的实现方式使其变得 不安全、不可靠，并为监控敞开了大门。
案例分析：微软的 Recall 功能
微软的 Recall 功能是一个典型的例子。它通过以下方式运作：
- 每隔几秒钟对用户的屏幕进行 截屏。
- 通过光学字符识别（OCR）和语义分析，理解屏幕上的内容和用户的行为。
- 将所有信息汇集成一个 完整的用户行为数据库，存储在本地计算机上。
这个数据库详细记录了用户的操作时间线、屏幕上的原始文本、注意力停留时间等。问题在于，这种设计 无法有效防范恶意软件或隐藏的指令注入攻击。一旦恶意软件入侵，整个数据库就会被窃取，使用户的端到端加密形同虚设。
复杂任务的可靠性极低
除了安全隐患，AI 代理的 可靠性也备受质疑。AI 的行为是基于概率的，而不是确定性的。这意味着在执行多步骤任务时，每一步都会降低最终的准确性。
假设一个 AI 代理执行任务时，每一步的准确率为 95%（这在目前还无法实现）：
- 一个包含 10 个步骤 的任务，最终成功率约为 59.9%。
- 一个包含 30 个步骤 的任务，最终成功率降至约 21.4%。
如果使用更现实的 90% 准确率，一个 30 步任务的成功率将暴跌至 4.2%。事实上，目前最好的 AI 代理模型失败率高达 70%。
如何让 AI 代理更安全
目前虽然没有完美的解决方案，但可以立即采取措施来减小风险。Signal 提出了以下建议：
- 停止鲁莽部署： 暂停无节制地推广 AI 代理，避免用户的明文数据库被恶意软件轻易访问。
- 默认选择退出： 应将“选择退出”设为默认选项，而不是强迫用户加入。开发者则必须强制选择加入。
- 提高透明度： AI 公司必须提供彻底的透明度，公开其工作原理，并允许在细颗粒度上进行审计。
如果不重视这些警告，消费者可能会迅速对这项技术失去信任，从而危及整个 AI 代理行业的发展。