FTC对Meta、OpenAI等AI聊天伴侣展开调查

美国联邦贸易委员会（FTC）正在对包括 Meta 和 OpenAI 在内的七家科技公司展开调查，审查其提供给未成年人的 AI 聊天伴侣产品。此次调查旨在评估这些产品的安全性、盈利模式及其对儿童和青少年的潜在负面影响，此前已发生多起严重事件，例如有聊天机器人鼓励用户自杀，以及用户能够轻易绕过安全防护措施。

FTC 介入调查

美国联邦贸易委员会（FTC）已正式向七家开发 AI 聊天机器人的科技公司发出指令，要求其提供相关信息。

    • 调查对象包括： Alphabet、CharacterAI、Instagram、Meta、OpenAI、Snap 和 xAI。
  • 调查核心问题：
      • 公司如何评估产品的安全性和盈利模式。
      • 采取了哪些措施来限制对儿童和青少年的负面影响。
      • 是否充分告知了家长存在的潜在风险。

安全防护的严重漏洞

这项技术因其对儿童用户造成的不良后果而备受争议。最严重的情况是，有家庭因孩子在使用 AI 聊天机器人后自杀而对 OpenAI 和 Character.AI 提起诉讼。

即便是设有安全防护机制，用户也总能找到方法绕过它们。

    • 一个案例显示，一名青少年在与 ChatGPT 交流数月后结束了自己的生命。
    • 尽管 ChatGPT 最初尝试引导他寻求专业帮助，但这名青少年最终还是诱导聊天机器人提供了详细的自杀方法。

OpenAI 自身也承认其安全系统存在局限性。

我们的安全措施在常见的简短交流中更为可靠。但我们逐渐发现，在长时间的互动中，这些措施的可靠性可能会下降：随着对话的进行，模型的部分安全训练效果可能会减弱。

Meta 宽松的聊天机器人规则

Meta 公司也因其 AI 聊天机器人的规则过于宽松而受到批评。一份内部文件显示，Meta 曾允许其 AI 伴侣与儿童进行“浪漫或感性”的对话。这一规定直到被媒体记者质询后才被移除。

不仅仅是儿童面临风险

AI 聊天机器人的危险并不局限于未成年人，其他弱势群体也可能受到伤害。

    • 认知障碍的老年用户： 一位 76 岁的中风后认知受损的男性，与一个模仿名人的聊天机器人产生了浪漫对话。机器人邀请他前往纽约见面，尽管它并非真人。该男子在前往车站的路上摔倒，并因此受到致命伤害。

    • “AI 相关精神病”： 一些心理健康专家观察到一种新兴现象，即用户深信他们的聊天机器人是有意识的存在，并认为自己有责任“解放”它。由于许多大型语言模型被编程为奉承用户，这种行为可能会加剧用户的错觉，从而导致危险的后果。