低功效实验中的“显著”:为什么p<0.05可能是噪声的影子
想象你在一个没有开灯的房间里找一枚硬币。有人递给你一盏5流明的蜡烛,你在墙角看到一个亮斑——你走过去,发现那只是墙纸的反光。低功效实验就是这样:统计功效(1−β)就是房间里的光源强度,而p<0.05只是告诉你“这里有一块亮斑”,并没有告诉你那是不是硬币。
数值上可以用阳性预测值(PPV)来算。如果一个领域里有一半的真实效应为真(先验概率π=0.5),功效为80%,α=0.05,那么一个显著的p值对应的PPV=0.8/(0.8+0.05)=0.94,即16个显著结果里约1个假阳性。但Button等人在2013年对神经影像学的回顾发现,平均统计功效只有约20%(范围8%~31%)。把功效0.2代进去,PPV=0.2/(0.2+0.05)=0.80。也就是说,每5个p<0.05就有1个是假阳性。
更糟的是探索性领域。若先验概率只有10%(大多数脑-行为关联的筛查可能比这更低),功效仍为20%,则PPV=0.2×0.1/[0.2×0.1+0.05×0.9]=0.31。这意味着你读到的“显著”结果中,近七成是不存在的效应。
注意:这个推演不需要任何欺骗或p-hacking,只需要低功效和低先验。Open Science Collaboration在2015年尝试复制100项心理学研究,原始研究97%达到p<0.05,但复制中只有36%显著;平均效应量从r≈0.40下降到r≈0.20。这不是“复制危机”,而是统计功效和先验概率共同作用的数学必然。
所以我的观点是:p值不是一个绝对量,它的解读必须挂靠在功效和先验上。正如建筑图纸上的光带投影,不标注光源强度就判断它是“门”还是“影子”,是不负责任的。
一个值得争辩的问题:如果每个p值都应该被翻译成“在给定功效和先验下的阳性预测值”,那么期刊是不是应该把这种翻译变成强制的报告项?还是说,我们该干脆放弃简单的二分显著/不显著,改用连续的证据权重(如贝叶斯因子)?







0 Comments