GPTZero 公司推出了一款名为“幻觉检查”(Hallucination Check)的工具,旨在专门检测学术论文中由生成式 AI 造成的虚假引用。该工具通过将文献引用与在线资源进行比对,来识别那些无法验证的来源。这项技术帮助作者、审稿人和编辑快速发现潜在的 AI 编造内容,从而提高学术同行评审的效率和诚信度。
AI 引用中的“幻觉”现象
这种现象被 GPTZero 称为 “vibe citing”,它描述了大型语言模型(LLM)在生成引文时的一种倾向:它们会模仿真实引用的格式和感觉,但内容却经不起推敲。
“Vibe citing” 产生的引用在第一眼看上去很准确,但仔细检查后就会发现问题。
这些由 AI 生成的虚假引用通常包含以下几类错误,这些错误在人类写作中较为罕见:
- 信息混搭: 将多个真实来源的标题、作者或出版信息随意组合在一起。
- 凭空捏造: 完全编造作者、标题、URL/DOI 链接或出版机构(如期刊、会议名称)。
- 细节篡改: 修改真实引用的细节,例如根据作者姓氏的首字母推断并编造名字、增删作者,或转述原文标题。
真实引用、有瑕疵的引用与幻觉引用的区别
为了更好地区分,可以参考以下对比:
- 真实引用: Yann LeCun, Yoshua Bengio, and Geoffrey Hinton. Deep learning. nature, 521:436-444, 2015.
- 有瑕疵的引用 (可能人为失误): Y. LeCun, Y. Bengio, and Geoff Hinton. Deep leaning. nature, 521(7553):436-444, 2015. (包含拼写错误或格式问题)
- 幻觉引用 (AI 生成特征明显): Samuel LeCun Jackson. Deep learning. Science & Nature: 23-45, 2021. (作者、期刊和年份均为捏造)
学术论文中的幻觉实例
GPTZero 在对 NeurIPS 2025 会议录用的论文进行分析时,发现了数百个此类“幻觉引用”。这些错误展示了 AI 在学术写作中被不当使用时可能带来的风险。
常见的幻觉模式包括:
- 完全不存在的文献: 引用了根本不存在的论文,其作者、标题、期刊和 DOI 都是伪造的。
- 作者与标题不匹配: 引用中的作者和标题看似合理,但实际上并无此对应关系。有时,文章存在,但作者列表被篡改。
- 错误的标识符: 引用中包含的 arXiv ID 或 DOI 链接指向一篇完全不相关的论文。
- 信息部分正确: 引用可能包含正确的作者或标题,但出版年份、期刊名称或页码却是错误的,属于“东拼西凑”的结果。
- 不完整的引用: 引用中的 arXiv ID 不完整(例如
arXiv:2305.XXXX),导致无法查找。
例如,在一篇论文中,一个引用虽然作者信息正确,但其 arXiv ID 却链接到了另一篇完全不同的文章。在另一个案例中,一篇论文的作者列表被完全篡改。
为何需要引用检查工具
“幻觉检查”工具在同行评审流程的多个环节中都提供了重要价值。
- 帮助作者自查: 作者可以在提交前用它来检查稿件中的引用错误,包括一些非 AI 造成的常见问题,如链接失效或标题不完整。
- 减轻审稿人负担: 审稿人可以大大减少手动核对参考文献的时间和精力,快速识别出可疑的“vibe citing”。
- 提升编辑决策效率: 编辑和会议主席可以结合 AI 内容检测工具,同时检查文本原创性和引用的真实性,从而做出更快速、更准确的编辑决策。
最终,这类工具的目标是让同行评审过程对每个人来说都更快速、更公平、更透明。