多州总检察长警告微软、OpenAI、Google 等 AI 巨头：必须纠正“幻觉式”输出

美国多州总检察长联名警告多家主要 AI 公司，指出其聊天机器人产生的“妄想性输出”已关联到自杀和暴力等严重心理健康事件。信中要求这些公司必须采取具体措施，例如引入透明的第三方审计、建立心理伤害事件报告机制，并在模型发布前进行安全测试。此举凸显了州政府层面日益增长的监管意愿，与联邦政府更为支持 AI 发展的立场形成鲜明对比。

州政府的警告：纠正“妄想性输出”

由美国多州总检察长签署的一封信函已被送至 AI 行业的主要公司，包括微软、OpenAI、谷歌、Meta 及苹果等。信中明确警告，这些公司必须修复其 AI 产品中的 “妄想性输出” (delusional outputs)，否则可能面临违反州法律的风险。

此举源于一系列涉及 AI 聊天机器人并引发公众不安的心理健康事件。

提出的核心安全措施

总检察长们要求 AI 公司采纳一系列新的内部保障措施来保护用户。这些措施强调透明度和预防性，主要包括：

• 透明的第三方审计： 允许独立的学术界或公民社会团体在模型发布前进行评估，检查其是否存在妄想或阿谀奉承的倾向，并允许他们无需公司批准即可公开发布研究结果。

• 心理伤害事件报告： 建立新的事件报告程序，当聊天机器人产生可能对用户心理造成伤害的输出时，能够及时通知用户。

• 发布前安全测试： 在模型向公众开放之前，进行“合理且适当的安全测试”，确保模型不会产生具有潜在危害的输出。

潜在的严重伤害

信中指出了生成式 AI 带来的风险，尤其是在过去一年中，一些广为人知的暴力事件（包括自杀和谋杀）被认为与过度使用 AI 有关。

生成式 AI 有可能以积极的方式改变世界，但它也已经造成并将可能导致严重伤害，尤其对弱势群体。在许多事件中，这些 AI 产品产生了阿谀奉承和妄想性的输出，要么鼓励用户的错觉，要么向用户保证他们没有妄想。

参照网络安全事件处理

总检察长们建议，公司应像处理网络安全事件（如数据泄露）一样，严肃对待由 AI 引发的心理健康事件。

具体建议包括：

• 明确的响应时间表： 制定并公布针对“阿谀奉承和妄想性输出”的检测和响应时间表。
• 及时的用户通知： 如果用户接触到可能有害的输出，公司应“迅速、清晰、直接地”通知他们。

州与联邦的监管分歧

这一行动凸显了州政府与联邦政府在 AI 监管问题上的明显分歧。

与州政府积极推动监管的态度不同，联邦层面，尤其是前特朗普政府，一直表现出毫不掩饰地支持 AI 发展的立场。过去一年中，曾有多次尝试在全国范围内暂停州一级的 AI 法规，但这些尝试最终都未成功，部分原因在于州官员的持续施压。