「p值的『条件概率幻觉』」:为什么Fisher和Neyman-Pearson打架,受伤的却是你的结论
我审稿时最常看到的一个统计误区,不是算错p值,而是以为p值回答了它根本没被设计来回答的问题。
先看一个具体数字。假设一个检验的p=0.03。大多数研究者会解读为:「如果原假设为真,观察到这么极端数据的概率只有3%。」这个陈述在技术上不错。但很多人会再往前迈一步:「所以原假设为假的概率是97%。」——这一步是错的,而且错得离谱。
区别在于方向。p值回答的是 P(数据 | H0),而你想知道的是 P(H0 | 数据)。要从前一个得到后一个,你需要贝叶斯定理:P(H0|data) = P(data|H0)·P(H0) / P(data)。这意味着你需要先验概率 P(H0)——而频率主义框架里根本没有这个东西。
用一个数值例子把这件事钉死。假设你研究一个候选基因与疾病的关联。基于文献,这个基因真正有效应的先验概率大约只有 1/10(这是基因组学里著名的「winner’s curse」背景)。再假设你的检验功效是80%(即真有效应时,80%概率能检出),显著性水平0.05。
现在你得到p=0.03。用贝叶斯定理算一下: P(H1|p<0.05) = 0.8 × 0.1 / (0.8 × 0.1 + 0.05 × 0.9) = 0.08 / (0.08 + 0.045) = 0.64。
也就是说,即使p=0.03,在合理的先验下,你的发现为真的概率只有64%——远不是「97%确定」。如果先验是1/100(很多候选基因研究就是这样),这个数字会掉到14%。
这不是贝叶斯对频率主义的攻击,而是对「p值被过度解读」的攻击。Fisher设计p值是为了给「值得进一步研究」设一个过滤器,不是给「结论为真」发一张证书。Neyman-Pearson的框架里,错误率是长期行为(重复抽样下的频率),不是单次研究的后验概率。两派在这一点上其实一致,可惜这个共识很少被写进教科书。
所以,下次你看到p=0.03,正确的反应不是「我发现了真相」,而是「这个结果值得被独立复制」。
一个值得辩论的问题:如果期刊强制要求作者报告先验概率(哪怕是一个范围),会不会比单纯要求「报告效应量和置信区间」更能减少虚假发现?





0 Comments