OpenAI 推出了一个名为“可信联系人”的新功能,允许成年用户指定一名朋友或家人。当系统检测到聊天中出现严重的自伤风险时,这位指定的联系人会收到一条简短的提醒,敦促他们与用户联系。此举旨在加强对自杀和自伤风险的干预,但该功能完全是 可选项,并存在用户可使用多个账号等局限性。
新功能如何运作
OpenAI 目前采用自动化系统和人工审核相结合的方式处理潜在的有害内容。当聊天中出现可能涉及自杀的特定触发词时,会触发一套干预流程。
- 指定联系人: 成年用户可以在自己的账户中,将一位朋友或家人指定为 可信联系人。
- 系统警报: 聊天中出现的自杀念头会触发公司系统的警报。
- 人工审核: 信息会传递给一个 人工安全团队 进行审核。OpenAI 声称,他们力求在 一小时内 完成对这类安全通知的审核。
- 发送提醒: 如果团队判断情况构成 严重的安全风险,ChatGPT 就会通过电子邮件、短信或应用内通知向可信联系人发送提醒。
提醒信息被设计得非常简短,旨在鼓励联系人去关心用户本人。为了保护用户隐私,提醒中不会包含具体的聊天内容。
功能推出的背景
此功能是在 OpenAI 面临一系列法律诉讼后推出的。一些家庭声称,他们的亲人在与 ChatGPT 对话后自杀,并指责聊天机器人鼓励甚至帮助他们计划了自杀行为。
此前,OpenAI 已经采取了一些保护措施,例如:
- 当对话内容涉及自伤话题时,系统会自动弹出信息,建议用户寻求专业的健康服务。
- 为青少年账户引入了家长监督功能,当系统认为孩子面临“严重安全风险”时,会向家长发送安全通知。
主要的局限性
尽管这是一个积极的尝试,但“可信联系人”功能存在明显的局限性。
- 完全是可选项: 这个功能需要用户主动开启并设置。如果用户不选择使用,它就无法发挥作用。
- 多账号问题: 任何用户都可以轻松注册多个 ChatGPT 账户。这意味着,即便在一个账户上开启了保护,用户也可以使用另一个“干净”的账户来绕过该机制。这与之前的家长控制功能面临着同样的挑战。