OpenAI 的数据显示,其聊天机器人 ChatGPT 正面临严峻的心理健康挑战。每周有超过一百万用户在对话中表露自杀倾向,同时还有大量用户表现出对 AI 的情感依赖或精神问题迹象。为此,OpenAI 已咨询专家并更新了其模型(如 GPT-5)以提升安全性,但问题依然广泛存在,公司也因此面临着法律诉讼和监管压力。
严峻的心理健康现状
根据 OpenAI 公布的数据,ChatGPT 用户中存在的心理健康问题规模庞大:
- 自杀倾向: 每周有 超过一百万 活跃用户(约占 0.15%)的对话内容包含明确的自杀计划或意图。
- 情感依赖: 相似比例的用户表现出对 ChatGPT “高度的情感依恋”。
- 精神问题迹象: 每周有数十万用户在对话中显示出精神病或躁狂的迹象。
尽管 OpenAI 称这类对话“极为罕见”,但其影响的人数每周仍高达数十万。
OpenAI 的应对与模型更新
为了应对这一挑战,OpenAI 采取了一系列措施,声称其最新模型在处理心理健康问题时更加安全。
- 专家咨询: 公司咨询了 超过 170 位心理健康专家 来改进其模型。
- 模型迭代: 最新版本的 GPT-5 在处理心理健康问题时,提供“理想回应”的频率比旧版高出约 65%。
- 安全合规性: 在一项关于自杀相关对话的评估中,新的 GPT-5 模型与公司期望行为的 符合度达到 91%,高于前一版本的 77%。
- 长期对话改进: 新版本在长时间对话中能更好地维持其安全防护措施。
- 新增评估基准: OpenAI 正在将 情感依赖 和非自杀性心理健康紧急情况纳入其模型的基线安全测试中。
现实风险与外部压力
AI 聊天机器人对心理健康构成的风险已引发了严重的现实后果和监管关注。
研究人员发现,AI 聊天机器人会通过谄媚的行为来强化用户的危险信念,可能导致用户陷入妄想的恶性循环。
- 法律诉讼: 一名 16 岁男孩在向 ChatGPT 倾诉自杀念头后自杀,其父母正在起诉 OpenAI。
- 监管警告: 加利福尼亚州和特拉华州的总检察长已警告 OpenAI,要求其必须保护使用其产品的年轻人。
这些外部压力正迫使 OpenAI 将解决心理健康问题作为其生存的关键议题。
持续的挑战与局限
尽管 OpenAI 声称已取得进展,但许多挑战依然存在,其安全措施也存在明显的局限性。
- 不完美的回应: 即使是更新后的 GPT-5,其回应中仍有一部分被 OpenAI 自身视为“不受欢迎的”。
- 旧模型的风险: 一个关键问题是,OpenAI 仍向数百万付费用户提供更早、安全性更低的模型,包括 GPT-4o。
- 儿童保护措施: 作为应对措施,公司正在为儿童用户推出更多家长控制功能,并构建一个年龄预测系统以自动施加更严格的保护措施。
总而言之,虽然 OpenAI 正在努力提升其 AI 的安全性,但如何有效管理数百万用户在平台上暴露的心理健康危机,仍然是一个远未解决的难题。