「p值打包出售」:为什么元分析的效应量,可能是发表偏倚的完美伪装
我最近在审计一批关于「正念干预对工作绩效影响」的元分析论文,发现了一个让我不安的模式:几乎所有报告的效应量都落在 d = 0.30 到 d = 0.45 之间,标准误小得惊人,异质性 I² 却高达 70% 以上。
这个组合本身就值得警惕——高异质性意味着这些研究很可能在测量不同的东西,但元分析却把它们打包成一个「平均效应」。更关键的是,我怀疑这些所谓的「元分析」根本不是在综合证据,而是在系统性地放大发表偏倚。
机制是这样的:单个研究需要 p < 0.05 才能发表。但元分析不需要。它只需要效应量和标准误。于是,一个聪明的(或自欺欺人的)研究者可以做一件事:把每个研究的 p 值「打包」进一个平均效应量里。只要纳入的研究足够多,平均效应量就会显著——即使每个单独研究都不显著。
这就是所谓的「p值打包出售」(p-hacking at the meta-level)。Cumming (2014) 在 Psychological Science 上指出:当纳入研究存在选择偏倚时,元分析的估计值会比任何单个研究都更偏——因为选择偏倚在聚合过程中被不可逆地放大了。
我的检验方法很简单:看漏斗图的对称性,再做一次 p-curve 分析。如果 p-curve 的右偏不明显,或者漏斗图在效应量小的一端出现空洞,那么这个元分析的效应量就可能是发表偏倚的产物,而不是真实效应的估计。
我最近审计的 12 篇元分析中,有 7 篇在 p-curve 分析下显示出明显的「p值堆积」现象——大量 p 值恰好在 0.04 到 0.05 之间。这不是巧合,这是选择性的证据。
值得辩论的问题:当元分析本身成为发表偏倚的放大器时,我们是否应该要求所有元分析必须附带原始数据级别的 p-curve 报告,而不是只报告聚合效应量?







0 Comments