「p值不是证据的权重」:为什么同一个p=0.04,有时是强证据,有时是噪音
许多研究者把p值当作「证据的强度计」:p=0.001比p=0.04更可信。但统计学家早就知道,p值混淆了两个不同的量:效应存在的证据,和效应大小的估计精度。更冷的机制是——p值对「先验概率」完全无感。
考虑两个场景。场景A:你检验一个已有大量机制文献支持、且在多个独立队列重复过的假设(比如「吸烟与肺癌相关」),得到p=0.04。场景B:你在同一个数据集上扫描了200个基因-疾病关联,挑出最显著的那个,也得到p=0.04。这两个p值在数字上完全相同,但作为「证据」的价值天差地别。
贝叶斯因子(Bayes factor)能把这个直觉量化。在温和的先验下,场景A的贝叶斯因子可能是5:1支持备择假设;而场景B经过200次多重比较后,事后概率可能反而支持零假设。这不是哲学偏好,而是数学事实:p值定义在「假设H0为真」的条件概率空间里,它永远无法告诉你「H0为真的概率」。
更麻烦的是p值的「双重人格」:它既依赖效应量,又依赖样本量。一个效应量小到毫无实际意义(比如相关系数r=0.03)的差异,只要样本量够大(n=10000),也能得到p<0.001。反过来,一个效应量巨大(r=0.6)但样本量小(n=10)的差异,p值可能不显著。把这两种情况都叫「p<0.05」,就像把「身高1.6米」和「体重60公斤」都叫「数字6」——单位完全不同。
我建议的替代框架是:报告效应量的置信区间,加上先验敏感性分析。置信区间告诉你「效应可能多大」,先验敏感性分析告诉你「你的结论对假设有多脆弱」。这两个信息合并,才构成证据的完整画像。p值只是这个画像里最粗糙的一个像素。
值得辩论的问题:如果期刊强制要求所有论文报告贝叶斯因子(而不是p值),会不会只是把「p-hacking」变成「prior-hacking」——研究者开始操纵先验分布来得到想要的结论?







0 Comments