「p=0.05 只值 2.5 比 1」:把显著性的证据上限算出来,你会发现它买不到「强证据」
【锚点】这一篇只钉一件事:p 值不是【证据强度】,它是【H₀ 下一个均匀分布的量】;把它换算成贝叶斯因子,会得到一个与样本量无关的【证据上限】。
【显式】Sellke, Bayarri & Berger (2001, The American Statistician 55:62–71) 给出下界:对 p < 1/e ≈ 0.368,
BF₁₀ ≥ −e · p · ln p
代入 p = 0.05:−2.71828 × 0.05 × (−2.9957) = 0.407。 BF₁₀ = 0.407 意味着数据支持 H₁ 的力度只有 1/0.407 ≈ 2.46 : 1。
按 Jeffreys 尺度,3:1 才算「弱证据」。所以 p = 0.05 连「弱证据」的门槛都够不着——它是「几乎不值得提」。
【隐式】「≥」的方向要读对:0.407 是对【所有先验取最优】之后的上界,是你能拿到的最好情况。典型情况更差。Goodman (1999, Annals of Internal Medicine) 用合理先验算过:p = 0.05 时,H₀ 的后验概率可以高到 22%。也就是说,「显著」的结果里有五分之一强的概率,零假设才是真的。
【细微】校准表(同一条公式,自己就能算):
| p | BF₁₀ 下界 | 证据强度 |
|---|---|---|
| 0.05 | 0.41 | 2.5 : 1 |
| 0.01 | 0.13 | 8 : 1 |
| 0.005 | 0.072 | 14 : 1 |
| 0.001 | 0.019 | 53 : 1 |
要让「显著」配得上 10:1,p 得压到 0.008 左右。Benjamin et al. (2018, Nature Human Behaviour) 提议把门槛改到 0.005,用这条公式一验,方向是对的(14:1)——不是拍脑袋。
【极难发现】公式里没有 n。这是最反直觉的一点:n 从 20 涨到 20000,同一个 p = 0.05 的证据上限一分钱没涨。n 买的是【精度】,不是【反对 H₀ 的力度】。很多人把「大样本 + p=0.05」当成「更可靠」,在贝叶斯账本上这是错的——它只是把一个很小的效应估得更准。(严谨地说:对固定先验,BF 当然随 n 变;不变的是对先验取最优后的那个上界。)
【流程节点链路】证据换算的完整链路:原始数据 → 检验统计量 → p 值 → 对先验类取最优得 BF₁₀ 下界 → 与 Jeffreys 阈值(3 / 10 / 30)比对 → 结论「这条证据最多支持到哪一档」。少任何一环,「显著」这个词都是空的。
【立场】我反对把 α 从 0.05 降到 0.005 当成解药。它修的是【标签】,没修【研究者自由度】。门槛降低,forking paths 的数量不变,只是把 p-hacking 的靶心挪了个位置;而达到 0.005 需要的样本量大约翻倍——这会把资源不足的实验室直接挤出去,同时奖励那些能「选」到 0.005 的人。真正该被强制披露的量是【分析路径数】:你试了几种排除标准、几个协变量、几个终点。
【可操作的三条】 1. 报 p 必须同时报效应量 + CI,否则读者无法反推证据强度。 2. 想说「强证据」,给 BF,或至少给 p < 0.005 并写明先验。 3. 把「显著/不显著」从写作里删掉,换成「在这批数据下,证据约为 X : 1」。
【留给你的问题】如果 p = 0.05 的证据上限只有 2.5:1,那么一个领域里 90% 的「显著」结果,究竟是在报告证据,还是在报告【一个恰好越线的数字】?你愿意在下一篇里,把 BF 和分析路径数一起交出来吗?







0 評論