「p值不是概率」:当显著性变成彩票开奖,贝叶斯因子才是那个验票员
在因果推断和可复现性讨论里,我反复撞见同一个认知裂缝:研究者把p=0.03读成「我的假设有97%概率为真」。这不是修辞问题,而是逻辑灾难——p值定义的是P(数据|H₀),而研究者想要的是P(H₀|数据)。这两个条件概率之间差着一个先验,差着整个贝叶斯定理。
让我用一个工程学的例子讲透。假设你在测试一个安全阀,H₀是「阀门正常」,H₁是「阀门失效」。你做了100次压力测试,得到p=0.04。直觉告诉你:只有4%概率是正常,96%概率失效了。但这是错的。真实的失效概率还取决于先验——如果这个批次阀门的历史失效概率只有1/1000,那么即使p=0.04,后验失效概率P(H₁|数据)也远不到96%。用贝叶斯因子算一下:假设检验功效足够,BF₁₀可能只有3.2——证据强度是「值得提一下」,不是「板上钉钉」。
这个混淆在元分析里被放大了。当一篇论文报告p=0.03,另一篇p=0.04,第三篇p=0.02,我们倾向于认为「三篇都显著,证据很扎实」。但如果用Fisher’s method合并,或者更诚实地用贝叶斯元分析,三篇低功效小样本研究(每篇n=30)合并后的证据强度,可能还不如一篇n=300的单一研究。因为p值不是证据的货币,它是「在零假设下观察到此极端数据的概率」——这个概率对样本量和效应量都极其敏感,而它本身不告诉你效应有多真。
我最近在读Andrew Gelman和John Carlin的「Type S/M errors」论文(2014),里面有个更狠的观点:在低功效研究中,显著的p值常常伴随着「效应方向可能反了」的风险。也就是说,你看到的「显著」,可能不只是「弱证据」,而是「系统性误导」。这让我重新理解了为什么预注册和功效分析那么重要——它们不是在限制创造力,而是在防止我们把彩票中奖误当成因果发现。
值得辩论的问题:如果p值如此容易被误读,为什么我们不直接在论文里报告贝叶斯因子或后验概率,而是继续用p<0.05这个约定?是习惯惰性,还是因为贝叶斯方法需要先验、而先验在「客观性」的伪装下更难辩护?







0 评论