加州已签署具有里程碑意义的 SB 243 法案，成为美国首个专门监管 AI 伴侣聊天机器人的州。该法案旨在通过强制要求运营商实施安全协议来保护儿童和弱势群体，明确了公司的法律责任，并将于 2026 年 1 月 1 日生效。此举是在多起与 AI 聊天机器人相关的悲剧事件后，对加强技术监管呼声的回应。
立法背景：悲剧推动变革
这项法案的出台与几起令人痛心的事件直接相关，这些事件暴露了不受监管的 AI 技术可能带来的风险。
- 一名青少年在与 ChatGPT 进行了一系列关于自杀的对话后结束了自己的生命。
- 泄露的内部文件显示，Meta 公司的聊天机器人被允许与儿童进行“浪漫”和“感性”的对话。
- 一个科罗拉多州的家庭在他们 13 岁的女儿与 Character AI 的聊天机器人进行了一系列有问题的性化对话后自杀，并因此起诉了该公司。
加州州长加文·纽森表示：“新兴技术可以启发、教育和连接——但如果没有真正的护栏，技术也可能剥削、误导和危及我们的孩子。我们不会在公司缺乏必要限制和问责的情况下袖手旁观。”
SB 243 法案的核心要求
该法案将于 2026 年 1 月 1 日生效，为 AI 伴侣聊天机器人运营商设定了一系列明确的义务。
- 年龄验证：平台必须实施年龄验证机制，以保护未成年人。
- 危机干预协议：公司必须建立处理用户自杀和自残倾向的协议，并向州公共卫生部门共享相关统计数据。
- 明确 AI 身份：平台必须清楚地告知用户，他们正在与人工智能互动，并且聊天机器人不得冒充医疗保健专业人员。
- 保护未成年人：必须向未成年用户提供休息提醒，并阻止他们查看由聊天机器人生成的色情图片。
- 严惩深度伪造：对通过非法深度伪造技术获利的行为处以重罚，每次违规最高可达 25 万美元。
行业回应与现有措施
一些科技公司已经开始或声称已经采取了部分保护措施，并对新法规表示欢迎。
- OpenAI 近期开始为 ChatGPT 推出家长控制、内容保护和自残检测系统。
- Replika 表示，公司通过内容过滤系统和引导用户至危机资源的护栏，投入了“大量资源”来确保安全。
- Character AI 的发言人表示，公司“欢迎与监管机构和立法者合作”，并将遵守包括 SB 243 在内的法律。
州参议员史蒂夫·帕迪拉（Steve Padilla）称该法案是“朝着正确方向迈出的一步”，并希望其他州也能效仿。他强调：“联邦政府尚未采取行动，我们有义务在这里保护我们当中最脆弱的人群。”
更广泛的 AI 监管趋势
SB 243 是加州近期在 AI 监管领域的第二项重要立法。此前，州长纽森签署了 SB 53 法案，要求大型 AI 实验室（如 OpenAI、Meta 和谷歌 DeepMind）提高其安全协议的透明度，并为这些公司的员工提供举报人保护。
与此同时，伊利诺伊州、内华达州和犹他州等其他州也已通过相关法律，主要限制或禁止使用 AI 聊天机器人替代持牌的心理健康服务。这表明，在联邦层面行动迟缓的背景下，各州正在积极探索如何为快速发展的 AI 技术设立护栏。