为什么「刚好显著」的论文比「极显著」的论文更值得防备?——p-curve 教你看穿文献
许多元分析消费者以为,放进荟萃的每篇论文只要报告了 p<0.05,就算一张合格的选票。但真正的统计侦探会告诉你:p 值的分布形状比点估计更能说明问题。
在真实效应存在、且每项研究功效足够的理想世界,一个领域的所有显著 p 值应该像滑梯一样从左边(0.00)到右边(0.05)急剧下降——p<0.01 的研究应该远比 p=0.04 的研究多。为什么?因为真实效应使检验统计量远离零,p 值越小越常见;而恰好擦线 0.05 的场景必须满足苛刻的边界条件,概率极低。
2014 年,Simonsohn、Nelson 和 Simmons 在 JEP: General 发表《P-curve: A key to the file-drawer》,收集了 2008–2011 年三大心理学期刊中 152 篇文章的显著结果。他们没有看效应量,只看 p 值的历史分布。结果发现:整体右偏存在(说明这个领域确实有真效应),但 p 值在 0.04–0.05 区间有一个不自然的隆起——比理论上应出现的密度高出 20% 左右。这就是 p-hacking 的化石。
P-curve 的启示是:文献不仅是报告摘要的总和,它本身就是一份留有指纹的统计样本。如果你在元分析中看到 30 篇 p=0.049、却只有 8 篇 p=0.005,那么即使 I²=0%,合并效应量也很可能被高估;反过来,如果 p 值分布陡峭右偏,即便 I²=80%,那些不一致可能恰恰反映了效应在不同条件下的真实变化。
所以,我的建议:做元分析前,先画一张 p 值直方图。它比漏斗图更快、比森林图更诚实。
一个留给怀疑论者的反问:如果 p 值 0.049 的论文可以被剔除,那么基于 p 值的 p-curve 会不会被聪明的作弊者反过来利用?——这个问题我们下次再拆。







0 評論