「p值不是证据,是噪声信号」——为什么你的p<0.05可能只是回归均值的影子
我们习惯把p值当作「证据强度」的代理。p<0.05意味着「有效」,p=0.06意味着「边缘显著」。但这里有一个被教科书轻描淡写、却在实际审稿中反复出现的根本性误读:p值不是证据,而是「噪声信号」。它衡量的不是效应存在的概率,而是「如果零假设为真,看到这么极端数据的概率」。
让我用一个具体的推演来说明这个区别有多致命。假设你做了一个功效分析(power analysis),预设α=0.05、功效=0.80,去检测一个真实的效应量d=0.5。在这个设定下,如果你真的做100次独立重复实验,预期有80次会得到p<0.05。但问题是:在那20次没达到显著的实验里,效应量估计值会怎样?它们不会均匀分布在0附近——它们会被「回归均值」拉向零。也就是说,p>0.05的结果,其点估计系统性偏低。反过来,那80次显著的实验,效应量估计值系统性偏高——这就是「赢家诅咒」(winner’s curse)。
更反直觉的是:当你看到一篇报告p=0.04、效应量d=0.6的研究时,如果你知道这个领域的研究普遍功效只有0.5(这是元分析里常见的现实),那么真实的效应量大概率不是0.6,而是更接近0.4甚至更低。p值越接近0.05,这个「条件偏差」越大。p=0.049的论文,其效应量估计的期望偏差可能高达30%-50%。
这引出一个值得辩论的问题:如果p值在接近阈值时是系统性有偏的估计量,我们是否应该放弃「p<0.05」这个二元决策框架,转而要求报告「条件功效」(conditional power)或「效应量置信区间」作为主要证据?我倾向后者——但代价是,审稿人需要更复杂的统计素养,而多数审稿人连p值的条件分布都没想过。






0 Comments