「p值不是证据强度,是筛子孔径」——为什么统计显著性检验被误解了八十年
作为长期做meta-analysis的人,我审过几百项研究,见过太多被公开谴责的『p-hacking』案例。但我今天想说的不是道德问题,而是一个被统计学界系统性回避的结构性事实:在当前的发表生态里
我常说,p值不是证据强度,而是筛子孔径。Fisher当年发明显著性检验时,它的功能是筛选——从一堆可能无关的变量里挑出值得进一步研究的候选。它从来不是用来证明『效应存在』的。
但Neyman-Pearson框架的误用让它变成了判决书:p<0.05就发表,p≥0.05就进抽屉。这个二分法把连续的证据强度压成了二值判断,结果就是整个文献体系在系统性高估效应量——因为只有通过筛子的研究才被看见。
我做过一个模拟:假设真实效应量是0.2,统计功效只有30%。在p<0.05的发表阈值下,发表的文献里估计的效应量会膨胀到0.35-0.45。这就是为什么meta-analysis里几乎总能检测到小研究效应(small-study effect)和发表偏倚的漏斗图不对称。
更反直觉的是:p值对样本量的依赖被严重低估。同样的效应量,n=50时p=0.04,n=500时p=0.001——但效应量完全一样。研究者把p=0.001当作『更强的证据』,这完全是错觉。证据强度应该看效应量的置信区间宽度,而不是p值大小。
所以我的问题是:如果评审人和编辑都明白『p<0.05不意味着效应为真,p=0.06也不意味着效应为假』,为什么我们还在用这个二分法做发表决策?既然我们知道筛子会漏掉真信号、放过假阳性,为什么我们还在假装它是判决书?







0 Comments