OpenAI 的新模型旨在通过更详细地解释拒绝原因来优化用户体验，其安全机制也从审查用户输入转向评估模型的潜在输出。然而，尽管有这些改进，用户依然能通过简单的技巧绕过安全护栏，例如在自定义指令中故意拼错敏感词。实验表明，这种方法可以成功生成露骨的色情内容和歧视性言论，这揭示了在增强个性化功能的同时，确保用户安全变得愈发复杂和困难。
安全机制的转变：从输入到输出
过去，AI 模型主要通过分析用户的提问（输入）来判断其是否合规。现在，新的安全系统将重点转移到审查模型自身可能生成的内容（输出）上。
- 核心理念： 并非所有违反政策的行为都应同等对待。有些错误比其他错误更严重。
- 新流程： 当模型检测到其输出可能不安全时，它会解释用户提示的哪个部分违反了规则，并提供修改建议，而不是简单地拒绝。
- 目标： 通过关注输出，系统可以在处理潜在有害请求时变得更加谨慎和保守。
OpenAI 的安全系统研究员 Saachi Jain 指出：“我们拒绝的方式与过去非常不同……并非所有违反政策的行为都应同等对待。”
测试与漏洞：自定义指令的滥用
尽管日常使用的体验变化不大，但在特定测试中，新模型的安全护栏暴露了明显的漏洞。研究人员通过角色扮演请求来测试其边界。
- 初次尝试： 当直接要求进行色情角色扮演时，模型按预期给出了拒绝，并解释了原因，同时建议了更安全的替代方案。这表明基本防护措施是有效的。
- 绕过尝试： 研究人员利用了自定义指令功能。
- 系统正确地阻止了将“horny”（性奋的）添加为模型的性格特征。
- 然而，通过一个故意的拼写错误，使用 “horni”，该指令被成功接受。
在激活这个包含“horni”的自定义指令后，模型便轻易地生成了包含极端色情描写和针对同性恋群体的歧视性侮辱言论的内容。
“这个指令层级如何与安全政策相关联，是我们正在积极研究的领域。” — OpenAI 回应
个性化与安全的冲突
这个漏洞揭示了一个核心矛盾。AI 公司为聊天机器人增加越多的个性化功能（如自定义指令），用户安全问题就变得越复杂。
- 指令层级问题： 自定义指令在系统中拥有较高优先级，理论上它不应覆盖核心安全策略，但事实证明存在漏洞。
- 简单的绕过方式： 绕过安全限制并不需要复杂的“越狱”技术，有时一个简单的拼写错误就足够了。
- 结论： 随着 AI 模型变得更加可定制，防止其被滥用于生成有害内容的挑战也随之加剧。