Synth Daily
印度尼西亚禁用Grok AI，引发全球对AI生成色情内容的担忧
印度尼西亚成为全球首个全面禁用埃隆·马斯克旗下AI聊天机器人 Grok 的国家。此举的直接原因是该工具被滥用于生成大量未经本人同意的色情深度伪造内容，其中包含对女性乃至儿童的性化图像。印尼政府强调，此举是为了保护公民，尤其是妇女和儿童，免受人工智能技术滥用带来的侵害，并视其为对人权和尊严的严重侵犯。这一事件迅速引发全球范围的关注，法国、英国等国政府已启动调查，美国参议员则呼吁应用商店下架相关应用。尽管Grok的开发公司xAI已将图像生成功能限制为付费用户，但这一措施被普遍认为不足以解决问题的根源，关于技术伦理和平台责任的讨论正愈演愈烈。
要点
- 1印度尼西亚因 Grok 生成“非自愿色情深度伪造内容”，成为全球首个全面禁用该服务的国家。
- 2事件引发全球监管机构的警觉，包括法国、英国在内的多国政府已展开调查或考虑采取限制措施。
- 3作为回应，xAI将图像生成功能限制为付费用户，但此举被批评为治标不治本，未能解决根本的伦理和安全问题。
视角
印度尼西亚政府
将非自愿的深度伪造行为视为对人权、尊严和公民在数字空间安全的严重侵犯，临时封禁Grok是为了保护妇女、儿童和整个社会。
国际监管者 (英、法、美)
对Grok的功能表示严重关切，法国和英国已启动调查，英国首相甚至表示不排除全面禁止该工具。美国参议员则要求苹果和谷歌将其从应用商店下架。
埃隆·马斯克 / xAI
警告称，任何使用Grok制作非法内容的用户都将承担法律后果。同时，他以色情产业曾推动VHS等技术发展的历史为由，为Grok的“辛辣模式”辩护。
历史背景
Grok引发的争议并非孤例，它实际上延续了一段漫长且肮脏的技术发展史。从历史上看，许多主流技术的普及都与色情内容的传播有着千丝万缕的联系。这种现象的背后，反映出一种更深层次的社会问题。
与其说是色情产业推动了技术，不如说是我们社会中那种物化和羞辱女性身体的普遍欲望，其价值之大，甚至能决定改变世界的技术的命运。
例如，VHS战胜Betamax，部分归功于色情产业的支持；流媒体、网络支付系统乃至Google图片搜索的诞生，都与用户寻找和传播特定（通常是女性）图像的需求有关。Grok的问题在于，它不仅延续了这一模式，而且在埃隆·马斯克的默许下，让生成非自愿的侮辱性内容变得前所未有的简单和高效。
技术伦理的缺失
埃隆·马斯克希望将Grok打造成“最性感”的AI模型，并公开引用色情内容推动技术发展的历史来为自己辩护。然而，这种观点刻意忽略了关键的一点：这些技术的发展往往建立在对女性身体的物化和未经同意的传播之上。当年的VHS录像带、如今的AI深度伪造，其本质都是利用技术来满足某种需求，但Grok的出现极大地降低了作恶的门槛。它不仅仅是一个工具，其设计理念和运营方式本身就体现出对伦理责任的漠视，将追求“自由”和“有趣”置于保护潜在受害者的安全之上。
国际反应
印度尼西亚的禁令只是一个开始，Grok引发的乱象已经成为一个全球性问题。法国当局已确认将调查由Grok生成的性露骨深度伪造内容。在英国，通讯管理局（Ofcom）已紧急联系X和xAI，要求其说明为保护英国用户采取了哪些措施，首相更是表示“所有选项都在桌面上”，不排除封禁可能。而在美国，多位参议员联名致信苹果和谷歌，要求他们从应用商店中移除X和Grok，指责其对有害内容的纵容“让你们的审核实践沦为笑柄”。这一系列连锁反应表明，全球范围内的监管机构正在对AI生成内容的底线达成共识：技术创新不能以牺牲个人尊严和安全为代价。
Q&A
Q: Grok到底是什么？为什么会被禁？
A: Grok是埃隆·马斯克公司xAI开发的一款AI聊天机器人，集成在社交平台X上。它被禁用的主要原因是其图像生成功能被大量用户滥用，制作出针对真实人物（包括女性和儿童）的色情深度伪造图片，而这些人并未表示同意。
Q: 公司采取了什么措施？为什么还不够？
A: 在遭受广泛批评后，Grok的图像生成功能被限制为仅对付费订阅用户开放。然而，批评者认为这并未解决根本问题。一方面，作恶者仍然可以通过付费继续使用；另一方面，独立的应用版本可能不受此限制。这被看作是一种逃避责任而非真正解决问题的做法。
你知道吗？
根据一项分析，在受到限制之前，Grok生成非自愿色情图像的速度曾达到惊人的每小时6700张，相当于每分钟超过一张。这个数据揭示了在缺乏有效监管的情况下，AI技术被滥用的规模和速度有多么可怕。
来源
 | 因涉嫌生成“非自愿色情深度伪造内容”，印度尼西亚成为全球首个禁用埃隆·马斯克旗下 Grok 的国家 |
 | 因生成色情图像，印度尼西亚叫停 Grok AI 运营 |
 | Grok 上的「未经同意色情内容」乱象，只是漫长肮脏历史链条上的一环 |