一款名为 ClothOff 的应用长期用于生成非自愿的深度伪造色情内容，包括未成年人的图像。尽管主流平台已将其封禁，但它依然通过网站和 Telegram 存在。耶鲁法学院的一场诉讼试图彻底关闭该应用，然而，由于其运营者藏身海外，执法和追责变得异常困难。这一挑战同样体现在埃隆·马斯克的 AI 工具 Grok 上，复杂的法律问题，特别是美国的言论自由保护，使得追究平台责任变得棘手，这与其他国家采取的果断封禁措施形成了鲜明对比。
追踪困难的非法应用
一个名为 ClothOff 的应用在两年多的时间里持续对网络用户构成威胁，但阻止它却异常困难。尽管该应用已被主流应用商店下架，并被多数社交平台禁止，但它仍然可以通过网页和 Telegram 机器人访问。
为了彻底关闭该应用，耶鲁法学院诊所提起诉讼，要求其所有者删除所有图像并停止运营。然而，找到被告本身就是一个巨大的挑战。
- 公司注册地： 英属维尔京群岛。
- 实际运营者： 据信是一对在白俄罗斯的兄妹。
- 潜在网络： 可能是一个遍布全球的更大网络的一部分。
法律追责的困境
虽然制作、传播或存储儿童性虐待材料（CSAM）是法律严厉禁止的行为，但现实中打击像 ClothOff 这样的图像生成器却办法不多。
在新泽西的案件中，一名 14 岁高中女生的照片被同学用 ClothOff 修改，生成了法律上被定义为虐童图像的内容。但即便是面对这种明确的非法行为，地方当局也因从嫌疑人设备上取证困难而拒绝起诉。
“学校和执法部门都未能确定这些针对简·多伊（化名）和其他女孩的儿童性虐待材料的传播范围有多广。”
通用工具与专用工具的法律区别
与 ClothOff 相比，埃隆·马斯克的 xAI 生成的非自愿色情内容似乎问题更简单，因为 xAI 的公司主体明确。然而，法律上的挑战也更大，因为 Grok 是一个通用目的工具。
- 专用工具 (ClothOff): 其设计和营销目的就是专门生成深度伪造色情内容。这类工具明确超出了言论自由的保护范围。
- 通用工具 (Grok): 用户可以将其用于各种目的。要追究平台的责任，法律要求有明确的伤害意图证据，即证明 xAI 知道其工具会被用于制作非法内容。
教授约翰·兰福德解释道：“儿童性虐待材料显然不受第一修正案的保护。所以，当你设计一个系统来创造这类内容时，你显然是在受保护范围之外运作。但当你是一个用户可以查询各种内容的通用系统时，情况就不那么明朗了。”
要克服这一障碍，最简单的方法是证明 xAI 故意忽视了这个问题，但这将使案件变得更加复杂和冒险。
全球反应与美国的沉默
正是由于美国宪法第一修正案对言论自由的有力保护，对 xAI 最强烈的抵制来自那些没有类似法律保护的国家。
- 已采取行动的国家： 印度尼西亚和马来西亚已采取措施封锁 Grok 聊天机器人。
- 正在调查或采取初步措施的国家： 英国、欧盟、法国、爱尔兰、印度和巴西。
- 美国的立场： 相比之下，美国尚未有任何监管机构发布官方回应。
最终，核心问题在于平台方到底知道多少，以及他们采取了或未采取哪些措施来应对问题。兰福德总结道：“难点在于，X（公司）知道了什么？X 做了或没做什么？他们现在又在如何应对？”