OpenAI 的视频生成工具 Sora 2 因其极高的逼真度，在发布后短时间内就被用于制作虚假和煽动性视频，例如伪造的监控录像和政治集会。尽管该工具有水印和内容限制等安全措施，但用户已找到方法绕过这些限制。这引发了人们对技术被破解后，虚假信息将大规模泛滥的担忧，可能导致严重的社会误导和动荡。
逼真的虚假内容已然泛滥
Sora 2 推出仅三天，用户就已制作出大量极度逼真的视频，其真实感远超以往的 AI 生成内容，足以引发前所未有的大规模信息混乱。
人们已经利用这项技术制作了各种具有潜在煽动性的内容，例如：
- 伪造的监控录像，显示一名蒙面男子将选票塞入邮箱。
- 以色列某次爆炸后的现场画面。
- 便利店抢劫和入室盗窃的场景。
- 一段戏仿视频，内容是 OpenAI 的 CEO Sam Altman 在商店里偷窃。
我们如今看到的任何东西，又要如何确定其真实性呢？
现有的安全措施及其局限性
OpenAI 为 Sora 设置了一些安全防护，试图阻止用户生成暴力内容或在世公众人物（如政治家）的形象。然而，用户已经找到了绕过这些限制的方法。
- 内容限制被绕过：在一个案例中，用户仅要求生成“总统政治集会上的支持者”，视频中虽未出现具体人物，但声音却酷似奥巴马。
- 显眼的水印：为了标示 AI 生成内容，OpenAI 在视频中加入了一个会四处移动的半透明水印。这个水印比常见的水印更显眼，不容易被忽略。
尽管有这些措施，但核心问题依然存在：这些防护措施能维持多久？人们很快就会找到去除水印的方法。
真正的风险：从线上到线下
在社交媒体上，仅仅几句话就足以煽动人们的情绪，甚至引发暴力行为。现在，如果有人利用 Sora 制作出一段足以以假乱真的虚假视频，来展示一件从未发生过的事情，后果将不堪设想。
这项技术的发展速度超出了许多人的预料，它所带来的社会风险，可能比我们想象中更快地到来。