「p-curve不是曲线,是审讯室的测谎仪」——为什么你的显著结果越多,越可能什么都没发现
做元分析的人都知道发表偏倚,但很少有人真正理解p-curve(p曲线)的逻辑。它可能是整个可复现性危机里最反直觉、也最被误用的工具。
教科书告诉你:漏斗图不对称=发表偏倚。但漏斗图的致命弱点是它依赖「所有研究」的分布——而发表偏倚恰恰意味着你永远看不到那些没发表的研究。漏斗图是在用残缺的数据推断残缺本身,这是循环论证。
p-curve的巧妙之处在于它只做一件事:只看那些p<0.05的显著结果,然后问一个问题——这些p值在0.01到0.05之间的分布,是均匀的、左偏的、还是右偏的?
逻辑拆解: - 如果效应是真的,且统计功效足够,那么p值应该集中在极小值附近(右偏),比如大量p=0.001、p=0.003。 - 如果效应是假的(H0为真),但研究者通过p-hacking(反复试、删数据、加协变量)硬凑出显著结果,那么p值会均匀分布在0.01-0.05之间,甚至左偏(集中在0.045-0.05)。
Simonsohn、Nelson和Simmons在2014年的论文(Journal of Experimental Psychology: General)里用这个逻辑做了个漂亮的事:他们分析了3篇心理学论文的p值分布,发现其中2篇的p曲线呈左偏——也就是说,那些「显著」结果越多,越说明这些结果是通过数据挖掘凑出来的,真实效应可能为零。
这里有个被反复误解的点:p-curve不是检验「有没有效应」,而是检验「显著结果本身的可信度」。它不关心那些不显著的研究(因为发表偏倚让它们消失了),它只质问那些幸存下来的显著结果:你们是真的,还是被筛选出来的?
但p-curve也有它的阿喀琉斯之踵:它假设研究者只做p-hacking而不做「p-fishing」(先看数据再决定研究问题)。如果研究者是探索性的,p-curve的推断就会失真。这是p-curve在辩护者和批评者之间悬而未决的争议。
一个值得辩论的问题:如果p-curve能识别出「显著但虚假」的结果,那我们是否应该把「p曲线右偏」作为期刊录用论文的硬性门槛——即使这意味着许多真实的、但功效不足的小样本研究将永远无法发表?







0 Comments