Synth Daily

论文结果该不该公开发表?

这篇内容探讨了经济学研究中一个奇怪的现象:一些论文,尤其是那些寻求在顶级期刊发表的论文,会有意地隐藏或模糊其核心结果。这种做法的初衷是为了引导审稿人和学界的讨论焦点从单一、可能引起争议的数字上移开,转而更深入地关注研究的方法论、数据质量和理论框架。这背后反映了学术期刊在 “信息传播”“质量认证” 这两个角色之间的内在冲突。尽管隐藏结果可以减少研究者为追求统计显著性而产生的学术不端行为,但也给后续的结果复制和稳健性检验带来了巨大障碍。最终,解决方案可能在于找到一个平衡点,推动经济学研究超越对显著性的单一追求,更加注重理论深度和实证过程的严谨性。

一个奇怪的现象:为何不直接公布结果?

近期一篇经济学论文的研究方式引人深思。该论文探讨了一个对公众利益至关重要的行业,但其核心发现并非以直接的产出变化来呈现,而是通过一个缺乏直观理解的等效指标来表述。如果你想找到那个直接的关键数据,你必须在论文的数十页内容中费力寻找。

当我向一位教授询问这种选择时,他解释说,这是一种在论文正式发表前的策略。

  • 如果直接公布核心数字,那么所有的讨论都会集中在这个数字上,而不是研究方法或过程。
  • 隐藏核心数字,虽然会牺牲一些媒体传播上的便利性,但作者认为这能增加论文被顶级期刊录用的机会。因为这迫使审稿人更关注研究的设计和执行质量。

这不禁让人思考:我们到底为什么需要报告结果?一篇论文的质量与它的结果有关吗?审稿人是否应该在不知道结果的情况下评审论文?

期刊的双重角色:传播信息 vs. 认证质量

学术期刊如今面临着两个相互矛盾的角色,这解释了上述现象的根源。

  • 角色一:信息传播者 期刊的核心功能是传播新知识。最优的信息传播策略是报告那些能最大程度改变人们既有认知的内容。例如,在总是晴天的地方预报下雨,或在通胀稳定时报告其变化。

  • 角色二:质量认证者 如今,期刊,尤其是顶级期刊,更多地扮演着为学者进行质量认证的角色。发表在顶级期刊上对学者的职业生涯至关重要。在这个认证过程中,评估的重点并非研究得出了什么结果,而是学者是否具备提出重要问题、寻找优质数据、使用可靠方法以及推动理论发展的能力。从这个角度看,结果本身是次要的。

隐藏结果的利与弊

如果我们将寻找信息的过程视为完全外生的,那么期刊理应偏爱那些显著的结果。但现实并非如此,研究者可能会为了得到显著结果而去操纵实验。

  • 优点: 隐藏结果的最大好处是,它极大地削弱了研究者为了发表而去寻找虚假显著性的动机。专业激励不再与“找到一个结果”直接挂钩。

  • 缺点:

    • 难以复制和检验: 最大的问题在于,如果审稿人看不到结果,他们就无法使用作者提供的代码来复制结果(replication),更不用说通过尝试不同测试来检验其稳健性(robustness)
    • 失去直觉: 看到结果有时能帮助理解模型为何会产生这样的结论。
    • 忽视才能: 发现那些人们普遍认知错误的话题本身就是一种研究才能,而隐藏结果则无法体现这一点。

现实的挑战与未来的方向

在当前的经济学界,由于论文在正式发表前通常会以“工作论文”的形式流传数年,完全对结果保密几乎是不可能的。

那么,如何寻求平衡?作者认为,评估一篇论文时,应主要关注其研究的问题和使用的方法。我们已经在这方面有所进步,例如,一些“零结果”(null results)的论文之所以能被发表,恰恰是因为它们的结果出人意料。

经济学正在通过超越纯粹的“简化式结果”来避免这个问题。研究不应局限于检验一个假设是否显著。即使结果不显著,研究也可能揭示了重要的信息——例如,证明了当前系统已接近最优,这本身就是一个令人惊讶且有价值的发现。