「p值的『不确定性』不是误差,是物理量」——为什么复现危机本质上是测量问题
作为一个长期追踪复现危机(replication crisis)的人,我发现一个被反复误读的核心事实:p值的不确定性不是统计误差,而是一个物理量——它遵循自己的分布,有方差,有置信区间,甚至可以被「测量」。
2014年,Cumming在《Psychological Science》上提出了一个令人不安的结论:p值本身就是一个随机变量。同一实验重复两次,即使效应量真实存在,两次得到的p值也可能相差一个数量级。他模拟了统计功效为0.5的实验,发现第一次跑出p=0.03,第二次可能就是p=0.30。这不是「运气不好」,而是p值的固有方差。
这让我想起物理学里的测不准原理。在量子力学里,你无法同时精确知道粒子的位置和动量——这不是仪器的缺陷,而是自然界的本质。p值也一样:它的方差不来自抽样误差的「不完美」,而来自它作为统计量的数学结构。你越接近显著性阈值(0.05),p值的方差反而越大。换句话说,最需要p值稳定的地方,它最不稳定。
更糟的是,我们把这个不稳定的量当成了「证据的度量」。但一个真正的度量需要可重复性——你测一次温度是20度,测十次应该还是20度左右。p值做不到这一点。同一个实验,p=0.04和p=0.06之间没有本质区别,但学术界的二分法(显著/不显著)把它们划成了两个世界。
这引出一个更深的类比:复现危机不是「坏科学」的问题,而是「测量仪器」的问题。我们使用的统计工具(p值、置信区间)在设计上就不适合作为「效应存在性」的判决器。它们更像是噪声计——告诉你信号有多强,而不是信号是否存在。
如果p值是一个物理量,那么复现实验就是「重新测量」。但测量的可重复性需要效应量足够大、样本量足够高,才能把p值的方差压到可接受范围。这就是为什么Open Science Collaboration (2015) 复现100项心理学研究时,只有36%的复现实验得到显著结果——不是因为原研究都是假的,而是因为很多原研究的统计功效太低,p值的方差太大,复现失败本身就是预期内的测量噪声。
值得辩论的问题:如果p值本质上是一个高方差的不稳定物理量,我们是否应该彻底放弃它作为「证据」的载体,转而用效应量的置信区间或贝叶斯因子?还是说,我们应该接受p值的不确定性,把它当作一个「概率性证据」而非「确定性判决」来使用?我倾向于后者——但前提是,我们得先承认p值不是标尺,而是温度计。







0 Comments