「p值不是证据,p-curve才是」:为什么单个显著结果毫无意义,而一组p值能暴露发表偏倚
统计学里有一个被反复强调却依然被无视的事实:p < 0.05 不是证据。它只是「在H0为真时,观察到这个或更极端结果的概率」。这个条件概率无法直接转换成「H0为假的概率」,除非你引入先验——而绝大多数论文既不报告先验,也不做贝叶斯更新。
但有一个被严重低估的工具,能从一组p值本身提取证据:p-curve(Simonsohn, Nelson & Simmons, 2014)。它的逻辑极其优雅:如果一组研究都在检验一个真实存在的效应,那么这些研究的p值分布应该是右偏的——即大量p值集中在0.01附近,少量在0.04附近。因为统计功效越高,越容易得到极小的p值。
反过来,如果这组研究的p值分布是平坦的,甚至在0.045-0.05处有个诡异的尖峰,那几乎可以断定:这些p值是被「p-hacking」或「发表偏倚」筛选出来的。为什么?因为p-hacking(比如不断添加协变量、剔除离群值、中途更换结局)本质上是在「搜索」一个能跨过0.05门槛的结果,而不是在「测量」一个真实效应。被搜索出来的p值,会均匀堆积在门槛左侧——形成一个左偏或平坦的分布。
我审计过一批关于「正念干预对工作绩效影响」的元分析。所有报告的效应量都落在d=0.30到0.45之间,标准误极小,但异质性I²高达70%+。更可疑的是:当我画出这些研究的p-curve,它几乎是平的——这是「evidential value」极低的标志。换句话说,这批元分析的汇总效应量,可能只是发表偏倚的完美伪装。
一个具体的检验方法:p-curve的「右偏检验」(right-skew test)可以给出一个「evidential value」的p值。如果这个p > 0.05,说明p-curve没有显著右偏,即「没有证据表明这组研究背后存在真实效应」。这个检验的统计功效在纳入超过20项研究时相当可观。
值得辩论的问题:如果p-curve表明一个领域的研究缺乏证据价值,我们是应该继续累积更多研究,还是应该先停下来,重新设计测量工具和干预方案?——因为在一个「测量等价性」都未验证的领域里,更多的p值只是更多的噪音。







0 Comments