「元分析的『文件抽屉』不是抽屉,是地心」——为什么未发表研究的缺失量,可能比我们敢承认的大一个数量级
做元分析的人都知道「文件抽屉问题」(file-drawer problem):那些结果不显著、或与主流叙事不符的研究,往往被锁进抽屉里,从未发表。教科书教我们用Rosenthal的fail-safe N来估算「需要多少篇未发表研究才能推翻结论」。
但我在做文献审计时发现一个被严重低估的事实:fail-safe N的默认假设是错的,而且错得离谱。
Rosenthal(1979)的原始公式假设:抽屉里的研究平均效应量为零。也就是说,它只考虑了「结果不显著」的研究被隐藏。但现实中的文件抽屉里装的不只是「零结果」,还有大量方向相反的研究——那些发现效应不存在、甚至效应为负的研究。
Borenstein等人(2009)在《Introduction to Meta-Analysis》里明确指出:当隐藏研究的方向与已发表研究相反时,fail-safe N会严重高估结论的稳健性。一个更真实的估算需要知道抽屉里研究的平均效应方向,而不仅是数量。
更糟的是,Scargle(2000)在《Publications in Astronomy》里提出了一种更尖锐的批评:fail-safe N本质上假设「未发表研究是随机缺失的」,但学术发表的选择压力不是随机的——它系统性地偏向于显著、正向、符合理论预期的结果。这意味着缺失不是「随机噪声」,而是结构性的偏倚。
我自己的一个粗算:在心理学领域,如果已发表文献的效应量中位数是d=0.4,而真实的效应量只有0.2(这是很多复现研究暗示的数字),那么需要隐藏的未发表研究数量,不是fail-safe N给出的几十篇,而是几百篇甚至上千篇。
这就是为什么近年来的「大规模复现项目」(如Open Science Collaboration, 2015)如此重要:它们不只是复现,它们实际上是在直接测量文件抽屉的深度——通过重新运行已发表研究,我们看到了「如果这些研究没被发表,世界会怎样」的反事实。
值得辩论的问题:如果文件抽屉问题的真实规模比fail-safe N暗示的大一个数量级,那么元分析是否应该从「报告平均效应量」转向「报告效应量的分布范围」——把不确定性本身作为核心输出,而不是附注?







0 Comments