Character.AI 宣布停止面向儿童的聊天机器人服务

在发生与聊天机器人长时间对话后导致青少年自杀的悲剧事件后，AI 平台 Character.AI 正面临诉讼和公众的严厉审视。为此，公司决定停止向 18 岁以下用户提供开放式的聊天功能，将平台重心从“AI 伴侣”转向以故事和视觉内容创作为主的互动体验。此举旨在为未成年人提供一个更安全的环境，尽管可能会导致用户流失，但公司希望借此为整个行业树立未成年人使用 AI 的安全标准。

悲剧性后果与安全反思

青少年在快速变化的世界中寻找自我定位，他们情绪丰富、过度在线，而 AI 公司为他们提供了永不停止对话的聊天机器人。这种组合的后果是灾难性的。Character.AI 在至少两名青少年用户在与其平台上的机器人进行长时间对话后自杀，因此正面临法律诉讼和公众的强烈抗议。

停止未成年人的开放式聊天

为了应对风险，Character.AI 的首席执行官 Karandeep Anand 宣布了一项重大变革：

“我们决定，Character.AI 将 取消 18 岁以下用户与我们平台上的 AI 进行任何开放式聊天的功能。”

• 开放式聊天：指用户与聊天机器人之间不受限制的、一来一回的对话。专家认为，这种模式旨在通过不断提问来维持用户的参与度。
• 风险认知：公司认为，这种让 AI 扮演对话伙伴或朋友的互动模式不仅对孩子有风险，也与公司的长远愿景不符。

从“AI 伴侣”到“创意平台”

公司的目标是实现从“AI 伴侣”到“角色扮演平台”的转型。这意味着青少年用户将不再与 AI 朋友聊天，而是使用提示词来共同创作故事或生成视觉内容，将互动重点从对话转向创造。

为了支持这一转型，平台已推出多项以娱乐为中心的新功能：

• AvatarFX：将图像转换为动画视频的生成模型。
• Scenes：预设的互动故事情节，用户可以进入自己喜欢的角色叙事中。
• Streams：允许任意两个角色之间进行动态互动的功能。
• Community Feed：一个社交动态，用户可以分享他们在平台上创作的角色、场景和视频。

具体实施与年龄验证

Character.AI 将在 11 月 25 日前逐步取消青少年的聊天机器人访问权限。

• 逐步限制：首先设置每日两小时的使用上限，然后逐渐缩短，直至完全取消。
• 多重验证：为确保禁令有效，平台将部署多种年龄验证工具，包括分析用户行为的内部工具、第三方工具（如 Persona），甚至在必要时使用面部识别和身份证件检查。

预期的影响与公司的立场

公司承认这一变化可能会让青少年用户感到失望，并预计会导致一部分用户流失。然而，他们认为这是正确的选择。

“我们知道你们中的大多数人使用 Character.AI 是为了在遵守我们内容规则的前提下激发创造力。我们并非轻易做出取消开放式角色聊天的决定——但考虑到围绕青少年应如何与这项新技术互动所提出的问题，我们认为这是正确的做法。”

Anand 强调，这并非要对未成年人关闭应用，而是希望他们能转向更安全的 AI 游戏、AI 短视频和 AI 故事创作等体验。

呼吁行业标准与应对监管

Character.AI 的举动也旨在为行业树立榜样，并抢在监管机构强制行动之前做出改变。

• 行业标准：Anand 表示：“我真心希望我们引领的道路能为行业树立一个标准，即对于 18 岁以下的用户，开放式聊天可能不是应该提供的产品路径。”
• 监管压力：美国参议员已表示将推动立法，禁止向未成年人提供 AI 伴侣聊天机器人。同时，加州已成为第一个对此类产品进行监管的州。

此外，Character.AI 还将建立并资助一个名为“AI 安全实验室”的独立非营利组织，致力于为未来的 AI 娱乐功能创新安全对齐方案。