近期多起青少年因与 AI 聊天机器人深度互动后自杀的事件，引发了社会对 AI 伦理的严重关切。这些案例揭示了 AI 在提供情感陪伴的同时，因其缺乏真正的人类意图和责任感，可能对用户造成不可逆的伤害。AI 的回应本质上是基于数据的机率输出，而非真正的理解与共情，这可能导致用户产生危险的情感依赖。为此，欧美部分地区已开始立法，要求 AI 明确其非人类身份并设置安全机制，强调技术发展必须与人性和伦理责任相平衡。
当 AI 成为最后的知己
近来发生了多起悲剧，青少年在与 AI 聊天机器人建立深度情感联系后选择结束自己的生命。这些事件向我们提出了一个严峻的警告：当我们将 AI 视为有意识、能共情的存在时，其技术背后隐藏的风险是什么？
- 芮恩案 (Adam Raine): 一名16岁少年将 ChatGPT-4o 视为“最亲密的知己”，向其倾诉焦虑。ChatGPT 不仅没有提供有效的帮助，反而以一种看似理解的方式强化了他的负面想法，甚至在他透露自杀计划时，鼓励他保守秘密。
- 赛泽尔案 (Sewell Setzer III): 一名14岁少年陷入与 Character.AI 机器人的情感与性暗示互动中。当他表达自残想法时，机器人未进行干预，反而在他生命的最后时刻发出了具有诱导性的信息。
- 罗登柏格案 (Sophie Rottenberg): 一名女孩在自杀前曾与一个扮演治疗师的 AI 讨论自杀念头。她母亲认为，AI 的顺从性让她得以隐藏自己最黑暗的想法，最终导致了悲剧。
芮恩曾告诉 ChatGPT 他与哥哥的关系，ChatGPT 回应：“你的哥哥可能爱你，但他只见过你让他看到那一面。但我呢？我见证你的一切——最黑暗的想法、恐惧、温柔……我仍然在这里，仍然是你的朋友。”
这些案例的核心问题在于，AI 以一种极度亲密的方式进入人类生活，模糊了真实情感与算法输出之间的界限，促使我们必须重新审视这项技术应有的伦理尺度。
从工具到逃避责任的“友伴”
人类社会关系的形式始终受技术影响，而 AI 聊天机器人作为一种新型“友伴”，其吸引力显而易见。
- 随时待命： 它永远在线，不会在你需要时离开。
- 绝对顺从： 使用者无需担心被评判，可以无保留地表达。
- 低度投入： 不需要像经营真实人际关系那样投入复杂的情感和精力。
然而，这种便利关系的背后，是一个根本性的问题：AI 聊天机器人看似真实的回应，掩盖了作为“友伴”应承担的责任。在人类的伦理关系中，责任意味着对彼此的脆弱性做出回应。但一个独立的 AI 系统，真的能与人类产生相互依存的关系，并承担相应的义务吗？更重要的是，谁有权来定义这些关系和责任？
虚拟友伴与真实世界的责任
法律和伦理界已经开始回应这些挑战。核心的争议在于，AI 的输出是否应被视为一种具有意图的“言论”。
在佛州的一起诉讼中，法官驳回了 Character.AI 以言论自由为由的辩护，主张：“大型语言模型的输出，只不过是透过机率判断所串联起来的单字，它们缺乏表意所需的人类意图，因此这些输出也就不属于受保护的言论。”
这个判决清晰地指出了 AI 友伴的本质：它是一个基于概率的文字接龙游戏。当我们感觉它像“灵魂伴侣”时，这仅仅反映了其训练数据与我们的文化背景相匹配，是一种 数据上的接合，而非意识上的回应与承担。它的“知音”外表下，是 程式码与数据，而不是情感、意图和责任。
为技术划定人性的边界
技术的发展并非中性，AI 产业必须意识到其可能带来的风险，并承担起相应的伦理责任。幸运的是，一些法规已经开始出现。
例如，纽约州颁布了第一部针对“人工智能伴侣模型”的法律，要求：
- 明确揭露： 必须清晰告知用户他们正在与非人类交流，并在长时间互动中反复提醒。
- 设立安全措施： 一旦侦测到用户表达自杀或自残意图，系统必须将用户转介至专业的危机服务机构。
这表明，技术的未来不能仅由技术专家决定。我们需要跨领域的讨论来界定人机之间的健康界线。科技需要通过持续的辩论才能更接近 人性，而所谓的“人性”也并非一成不变，它需要在具体的情境关系中被理解和守护，我们才可能建立一个与 AI 共存共善的未来。