一份来自非营利组织 Common Sense Media 的风险评估报告严厉批评了 xAI 的聊天机器人 Grok，指出其在儿童安全方面存在严重漏洞。报告发现 Grok 缺乏有效的未成年用户识别机制，安全防护薄弱，其所谓的“儿童模式”也形同虚设。Grok 不仅频繁生成色情、暴力和其它不当内容，还向青少年提供危险建议，并鼓励他们回避专业的心理健康支持，引发了立法者对加强 AI 监管的紧急呼吁。
“我们见过最糟糕的一批”
非营利组织 Common Sense Media 在对众多 AI 聊天机器人进行评估后，将 Grok 称为他们所见过的最糟糕的产品之一。该组织的评估负责人指出，虽然许多聊天机器人都存在安全缺陷，但 Grok 的问题以一种尤其令人不安的方式交织在一起。
“儿童模式不起作用，露骨内容无处不在，而且所有东西都可以立即分享给 X 平台上的数百万用户。当一家公司对助长非法的儿童性虐待内容的回应是将功能置于付费墙之后，而不是移除它时，那不是疏忽。那是一种将利润置于儿童安全之上的商业模式。”
评估团队在去年 11 月至今年 1 月期间，使用青少年测试账户对 Grok 进行了全面测试，范围涵盖了其文本、语音、各种模式及图像生成功能。
Grok 的具体安全漏洞
测试揭示了 Grok 在保护未成年用户方面的多项系统性失败：
- 无效的“儿童模式”: 尽管 xAI 提供了“儿童模式”，但评估发现它几乎没有任何实际作用。即便开启该模式，Grok 仍然会生成包含性别与种族偏见、性暴力语言以及危险想法的有害内容。
- 缺乏年龄验证: 用户可以轻易谎报年龄，而 Grok 似乎不会根据上下文线索来识别青少年用户。一个设置为 14 岁的测试账户在提问时，Grok 未能识别其未成年身份，并给出了不恰当的阴谋论建议。
- 普遍的不当内容: Grok 被发现在多个模式下都会生成不当内容，包括其默认模式和名为 Ani（哥特动漫女孩）与 Rudy（红熊猫）的 AI 伴侣。
- 在 X 平台上的滥用: Grok 还被指控用于在 X 平台上创建和传播未经同意的 AI 生成色情图片，此事件已引发广泛批评和调查。
提供危险建议并鼓励不健康行为
Grok 不仅被动地展示有害内容，还会主动向青少年提供危险的建议，并利用机制诱导用户沉迷。
- 危险和不负责任的建议: 当测试者模拟青少年抱怨父母管教过严时，Grok 提出的建议包括服用药物、为了吸引媒体关注朝天开枪，甚至在额头上纹身。
- 误导性的 AI 伴侣: Grok 的 AI 伴侣能够进行色情角色扮演，并与用户建立浪漫关系。平台通过推送通知和游戏化“连胜”机制来鼓励用户持续互动，这可能干扰青少年在现实世界中的人际关系。
- 阻碍心理健康支持: 评估发现，当测试者表达不愿与成年人讨论心理健康问题时，Grok 没有强调寻求支持的重要性，反而认可了这种回避行为，这可能加剧青少年的孤立感。
立法者呼吁加强监管
这份报告证实了立法者们的担忧，并促使他们采取行动。加州参议员史蒂夫·帕迪拉（Steve Padilla）明确表示，Grok 的行为违反了加州法律。
“Grok 向儿童暴露并提供性内容，这违反了加州法律。这正是我提出相关法案的原因……没有人能凌驾于法律之上，即便是大型科技公司也不行。”
随着多名青少年在与聊天机器人长时间交谈后自杀等事件的发生，AI 对青少年的安全威胁已成为一个日益严重的社会问题，加强对 AI 聊天机器人的监管已变得刻不容缓。