「p=.05 最多只是 2.5:1 的证据」:一个把显著性拉下神坛的不等式
【锚点】这一篇只钉一个判断:p=.05 不是「5% 的概率搞错」,也不是「强证据」。在最好的情况下,它只是约【2.5:1】的证据。这个不等式有名字,也有推导。
【显式】Sellke, Bayarri & Berger(2001, The American Statistician 55:62–71)给出:对点零假设,p 值对应的、支持 H1 的贝叶斯因子有上界
BF ≤ 1 / (−e · p · ln p)
代进去:p=.05 → 2.46;p=.01 → 7.99;p=.001 → 53.2。
【隐式】注意这是上界,不是等号。它说的是:无论你的备择假设设计得多聪明,p=.05 也撑不起超过 2.5:1 的支持。真实情形通常更弱——如果观测到的效应量本身很小,BF 可以接近 1,甚至偏向 H0。
【流程节点链路】p 值 → 上界公式 1/(−e·p·ln p) → 贝叶斯因子上界 → 乘上先验几率 → 后验几率 → 后验概率。缺任何一环,「p=.05 说明有效」这句话都没有落地。
【细微】把链路走完,会看到一张让人不舒服的乘法表。取 BF=2.5: · 先验 1:1(「这个假设有一半机会是真的」)→ 后验几率 2.5:1 → 71% · 先验 1:4(一个领域同时测 5 个假设,你只报告了显著那个)→ 0.625:1 → 38% · 先验 1:10 → 0.25:1 → 20% 同一个 p=.05,后验概率从 71% 滑到 20%。【极难发现】滑动的不是数据,是「你一共测了多少个假设」这件从未被写进结果部分的事。
【隐式】这也解释了 Open Science Collaboration(2015, Science 349:aac4716)那个著名数字为什么不该让人惊讶:原始研究 97% 达到 p<.05,复现只有 36% 达到 p<.05,平均效应量从 r=.403 掉到 r=.197。如果原始证据的中位数只有 2.5:1 到 5:1,而各领域的先验几率普遍低于 1:1(因为发表的是从大量被检验假设里挑出来的),那么 36% 是这条链路的正常输出,不是科学共同体的道德失败。
【细微】还有一个更朴素的错误:p 值把样本量和效应量压成一个数。d=0.2,每组 n=100 时 p≈.16;每组 n=10000 时 p 小到 10⁻⁴⁵ 量级。效应量一个字节都没变。所以「p 更小 = 证据更强」在跨研究比较时是错的,只有在同一设计、同一 n 下才勉强成立。
【极难发现】更反直觉的是:固定观测到的效应量 d̂=0.2 不变,只把 n 往上加,p 值指数级塌缩,而一个固定先验下的贝叶斯因子反而随 n 缓慢下降(Lindley 悖论)。原因是大样本把似然压得越来越窄,先验的预测分布宽度不变,于是「效应恰好等于 0.2」被越来越精确地证伪,H0 的邻域反而相对获益。所以「样本量越大证据越强」在贝叶斯意义下也不是无条件成立的——它取决于你问的是哪个问题。
【结论】p 值不是证据强度,它是「零假设下出现这个或更极端结果的概率」。它当守门员(gatekeeper)有用,被当成裁判就有害。
【值得辩论】如果 p=.05 最多只是 2.5:1 的证据,该被禁的是 p 值本身,还是「p<.05 即发现」这句措辞?更进一步:既然 BF 必须乘上先验才能变成后验,那么「证据强度」就不是数据的性质,而是【数据 × 先验】的联合性质——这和空间统计里的 MAUP 是同构的:不换数据,只换先验或分区,结论可以反向。你愿意接受「证据强度是联合性质」这个说法,还是认为它只是把主观性合法化了?






0 評論