Discord 承认其 AI 审核系统存在一个漏洞，该漏洞在过去两个月内错误地封禁了超过 8,000 名用户。这些用户因上传电子表格、棋盘等完全无害的网格状图片而被系统误判为有害内容。官方表示已修复该问题并正在恢复所有受影响的账户，此事凸显了在各大平台日益依赖自动化审核工具的背景下，AI 误判所带来的严峻挑战。
AI 审核失误导致大规模误封
自今年五月以来，Discord 的 AI 审核系统出现了一个持续性的问题。系统将一些无害的图片错误地标记为有害内容，导致用户账户被封禁。
- 受影响的用户总数： 过去两个月内有 超过 8,000 名用户 被误封。
- 被误判的无害内容包括：
- 电子表格
- 棋盘
- 游戏纹理贴图
- 白色和灰色的透明背景图
在团队定位并修复问题前的最后一个周末，又有 200 名用户 因此被封禁。目前，所有受影响的账户都在恢复过程中。
漏洞的技术原因
Discord 解释称，其自动化安全系统通过将用户上传的内容与已知有害材料的数据库进行比对来工作。尽管这项技术旨在捕捉非法内容，但有时会产生误报。
正常情况下，系统标记的内容会由人工审核员复核。然而，一个漏洞导致系统绕过了这一环节，直接封禁了相关账户。
“我们正在努力建立更好的保障措施，以防止此类事件再次发生。”
许多用户推测，AI 之所以对网格状图案变得越来越敏感，是因为不法分子曾利用这类图案来模糊或伪装有害内容，以躲避自动化系统的检测。
对用户造成的严重影响
在社交媒体上，被误封的用户表达了强烈的不满。许多人指出，仅仅基于自动化检测就对账户进行永久封禁，可能会带来严重的后果。
- 依赖性： 很多用户依靠 Discord 进行工作沟通、参与游戏社区或维持社交联系。
- 封禁后果： 突然失去账户对用户的个人和社交生活可能造成毁灭性打击。
一位用户在 X 上写道：“因为如此不公的事情而失去一个 Discord 账户，可能会给用户带来极其毁灭性的打击……每天都有数百万用户受到 AI 错误封禁的影响。这种情况必须停止。”
不仅仅是 Discord 的问题
因自动化系统而引发的审核问题在行业内普遍存在。
- 去年，Instagram 和 Facebook 的用户也报告了大量不明原因的账户停用事件，许多人认为这是 AI 审核系统 所致。
- 与 Discord 的坦诚不同，Meta（Facebook 母公司）从未公开证实这些问题是否由 AI 错误引起。
- 目前，Meta 的监督委员会正在推动公司在 AI 审核方面实现 更高的透明度。