如何处置骗子的作品?
一项针对法国股息税改革的经济学研究因数据造假而被撤回,该事件暴露了学术界普遍存在的代码错误和研究不严谨问题。这篇由 Adrien Matray 主导的论文被发现通过篡改数据来制造虚假的“平行趋势”,构成了学术欺诈。与此同时,另一位经济学家 Enrico Moretti 的多篇论文也因存在大量编码错误和草率的研究方法而受到质疑。这些事件共同指向一个严重问题:无论是欺诈还是草率,不可靠的研究都在侵蚀经济学作为一门学科的公信力,因此亟需建立更强大的结果复现和透明度机制。
一个学术欺诈案例
2013年,法国将股息税率从15.5%大幅提高到46%。经济学家 Boissel 和 Matray 的一项研究旨在探讨这项政策对企业投资的影响。
他们的初步研究得出了一个违反直觉但可以解释的结论:尽管股息减少了,但企业投资反而增加了。这似乎是因为公司将节省下来的现金重新投入了经营。
然而,这一发现是建立在谎言之上的。
- 问题核心: 在进行此类研究时,一个关键假设是,受政策影响的“处理组”和未受影响的“对照组”在政策实施前具有平行趋势。
- 数据造假: 一个后续团队在尝试复现该研究时发现,他们无法得到相同的结果。调查显示,Matray 为了让数据看起来符合平行趋势假设,竟然将某些年份的数据乘以了1.8。
- 严重后果: 这种行为在经济学中被视为欺诈。论文最终被撤回,Matray 也因此失去了在普林斯顿大学的教职。
在经济学中,仅仅因为结论错误而撤稿是极其罕见的。撤稿通常意味着存在欺诈行为。
如何检验一篇论文?
在评估一项研究时,我们需要区分两种不同的检验方式:复现和稳健性检验。混淆这两者会让我们无法准确判断问题的严重性。
复现 (Replication): 这是最基本的验证。指的是使用作者提供的原始代码和数据,看能否得出与论文声称的完全相同的结果。如果无法复现,就意味着作者犯了严重错误,他们报告的结果并非他们实际得到的结果。
稳健性检验 (Robustness Checks): 这是更进一步的测试。指的是尝试改变一些研究方法或变量,看结论是否依然成立。如果结果不稳健,可能意味着结论是偶然的,也可能只是说明我们应该对结果的信心打些折扣。
未能复现永远是严重的问题,而稳健性不足则视情况而定。
草率的研究同样具有破坏性
与 Matray 的蓄意欺诈不同,另一位著名经济学家 Enrico Moretti 的工作则暴露了另一种问题:普遍的草率。尽管可能并非有意为之,但其破坏性同样巨大。
在关于区域规划对经济增长影响的研究中,他和合作者的论文不仅数学计算有误,还包含了重大的编码错误。
在关于高科技产业集群对发明家生产力影响的研究中,有审查者发现,其研究结论完全是由一个编码错误驱动的。
在关于“地方乘数效应”的研究中,他声称在一个地区增加一个可交易部门的工作岗位,会额外创造1.6个非交易部门的工作岗位。但复现者发现,几乎每一个研究选择都倾向于夸大这个数字,其实际效果很可能远低于此。
在另一项关于女性生理周期与缺勤关系的研究中,他和合作者声称发现了显著的相关性。然而,后续的审查同样发现,这个结论也源于编码错误。
当一位学者的多项研究都充满此类问题时,我们该如何信任或引用他的任何作品?难道每引用一篇论文前,我们都要花几天时间去检查其所有代码吗?
对整个学科的侵蚀
这种普遍存在的草率和偶尔发生的欺诈,正在系统性地破坏整个经济学领域的公信力。
- 侵蚀信任: 每一位作弊或草率行事的研究者,都在削弱公众和同行对所有经济学家工作的信任。
- 导致恶性循环: 如果研究人员普遍不相信他人的成果,他们自己也可能变得更加犬儒,从而在自己的工作中投机取巧、削减成本。
- 欺诈的新形式: 学术不端行为不必是凭空捏造数据。它也可以是一种更微妙的形式:在寻找支持自己假设的结果时,选择性地“不要看得太仔细”。
为了维护学科的健康发展,学术界应该鼓励更多非正式的复现报告。如果有人在自己的研究过程中成功复现了某项重要发现,应当有渠道让公众知晓。建立一个专门存放这类低成本复现结果的资料库,将是迈向更高透明度和可信度的重要一步。