AI 检测工具 Pangram 已成为判断文本是否由 AI 生成的行业标准，被媒体、学校和学术界广泛采用。尽管它比早期工具更准确，但其固有的“黑箱”问题和无法完全被信任的可靠性也带来了巨大的风险。它难以区分 AI 辅助和 AI 生成的界限，导致错误的指控和名誉损害。最终，AI 检测工具本身正变得和它所追踪的 AI 技术一样：足够有用，但远未达到可以完全信赖的程度。
“金标准”的崛起与争议
近期几乎所有高调的 AI 写作指控都源于一个名为 Pangram 的工具。从被下架的恐怖小说到知名报纸的文章，Pangram 的检测结果被广泛引用，使其迅速成为权威。大学用它审查学生作业，科研机构用它扫描论文。
- 看似可靠： 早期的 AI 检测工具（如 ZeroGPT）曾将美国宪法标记为 AI 生成，而 OpenAI 也因准确率低而放弃了自己的检测器。相比之下，Pangram 的表现要好得多。
- 高调应用： 它被用来指控主流媒体、文学奖项得主，甚至教皇的通谕中存在 AI 生成内容。
然而，一个大部分时候可靠的 AI 检测器，在某些方面可能比一个完全坏掉的检测器更危险。
可靠性背后的双刃剑
Pangram 拥有摧毁声誉和职业生涯的能力，但它确实会犯错，其错误的程度可能比目前所理解的要大得多。
- 极低的误报率： Pangram 声称，其将人类写作错误识别为 AI 生成的概率仅为 1/10000。多项独立分析也证实了其较低的假阳性率。
- 更高的漏报率： 但其将 AI 文本错误识别为人类写作的概率（假阴性率）则要高得多，接近 1/70。这意味着它在识别“人类写作”的保证上并不稳固。
这种情况导致了一种困境。一位纽约的高中教师表示，他明知一些学生的作业有问题，但 Pangram 显示为 100% 人类写作。他不敢仅凭怀疑就指控学生，因为“赌注太高了，但我们评估 AI 生成内容的方式仍然很不成熟。”
技术军备竞赛与“黑箱”困境
Pangram 面临的挑战是双重的。一方面，它需要追赶不断进化的 AI 模型；另一方面，它还要应对专门用于掩盖 AI 痕迹的工具。
- AI 人性化工具 (Humanizers)： 像 Walter Writes AI 这样的程序，可以通过调整措辞和句式来“人性化”AI 生成的文本，从而轻松骗过 Pangram 的检测。
- 无法解释的“黑箱”： Pangram 的算法通过海量数据训练来识别模式，但它无法具体解释为什么将某段文本判定为 AI 或人类所写。其创始人也承认，算法的内部工作原理是“相当无法解释的”。
我们在担忧过度依赖 AI 聊天机器人时，有可能陷入依赖另一个黑箱算法的风险中。
现实世界的后果：诽谤机器？
由于其结果的模糊性和争议性，Pangram 很容易被滥用或误解，导致严重的后果。
- 错误的指控： 科技记者 Taylor Lorenz 曾被错误指控使用 AI 写作，事后 Pangram 承认了错误。
- 混淆“辅助”与“生成”： 《华尔街日报》的一位编辑称 Pangram 为“诽谤机器”，因为它将使用了 AI 辅助修订的专栏文章标记为 AI 生成，这种区分的模糊性很容易在恶意或无意中被混淆。
- 重演历史： 这种情况让人联想到近期的“抄袭战争”，当时算法被用来指控学术领袖，引发巨大争议。即将到来的 AI 检测战争可能更具争议性。
Pangram 并非毫无用处，但这恰恰是问题的关键。当没有人就 AI 的道德使用范围达成共识时，它的结论太容易被扭曲和质疑。就像聊天机器人一样，AI 检测工具已经变得足够有效以至于被广泛使用，但又不够可靠以至于无法完全信任。从这个角度看，Pangram 这类检测器正是它们所追踪的 AI 产品的镜像。