对 arXiv 上近 13,000 篇论文的分析显示，自 ChatGPT 发布以来，被标记为机器生成的论文比例急剧上升，近期约有三分之一的新论文呈现出 AI 写作的特征。这项研究通过将检测器的误报率严格校准在 0.4%，确保了结果的可靠性，同时也坦诚地指出了其方法的局限性，例如在数学等特殊领域的检测盲点，以及检测结果只能反映 AI 辅助写作的普遍程度，而不能作为学术不端的证据。
如何建立可靠的检测标准
许多声称“N% 的内容是 AI 生成”的报告都存在一个致命缺陷：它们没有说明其检测工具在多大程度上会错误地将人类作品标记为 AI 生成。如果一个工具将 40% 的新论文标记为 AI，但同时也将 20% 在 ChatGPT 出现前写的论文标记为 AI，那么真正值得关注的是那被忽略的 20% 误报率。
我们的研究正是围绕这个问题展开的。我们建立了一个基准，即“误报底线”。
- 设定基准： 我们选取了 2021 年和 2022 年（ChatGPT 出现前）的论文作为 纯人类写作的“地面实况”。
- 校准阈值： 我们调整检测器的敏感度，使其在这些人类写作的论文中，仅有 0.4% 的比例被标记为 AI 生成。
- 可靠的比较： 这个 0.4% 的比率成为了我们衡量一切的“底线”。所有报告的数据都是指超出这个底线的论文比例。这确保了我们观察到的增长是真实趋势，而非检测工具的误差。
主要发现：AI 辅助写作的兴起
在 2021 年和 2022 年，被标记的论文比例稳定在 0.4% 的基准线上。但在 ChatGPT 发布后的几个月内，这一比例开始迅速攀升，在最近一个季度达到了约 32%。
不同领域的差异巨大。以下是部分领域在过去 12 个月中被标记为 AI 写作的论文比例：
- 计算机科学： 约 65.0%
- 定量生物学： 约 56.3%
- 电气工程与系统： 约 51.3%
- 经济学与金融： 约 47.0%
- 高能物理： 约 14.0%
- 天体物理学： 约 10.7%
- 数学： 约 0.7%
计算机科学领域的 AI 辅助写作比例遥遥领先，而数学领域则几乎没有变化。这种巨大的差异揭示了 AI 工具在不同学科中的渗透程度。
检测的局限性：我们无法确知什么
尽管方法严谨，但这项研究的结论依然受到一些关键限制。
检测器的盲点： 一个低分可能意味着 AI 使用率低，也可能意味着检测器在该领域“失明”。
数学领域就是一个典型例子。数学论文充满了公式、符号和定理证明结构。去除这些非文本内容后，剩下的纯散文非常少，与检测器训练所用的标准科学英语截然不同。因此，一篇大量使用 AI 辅助的数学论文也可能得分很低。
检测范围不完整： 检测器无法覆盖作者们实际使用的所有 AI 模型、版本和提示词组合。这意味着我们的检测能力是有限的。因此，报告中提到的 AI 写作比例很可能是一个 最低限度的估计，真实情况可能更高。
标记不等于作者身份问题： 检测器评估的是“文本读起来有多像机器写的”，而不是“这篇文章是谁写的”。它无法区分一篇完全由 AI 生成的文章和一篇经过大量 AI 辅助编辑的文章。 > 因此，一个高分 绝不能 作为指控特定作者学术不端的证据。它仅仅反映了一种写作风格的普遍性。