「p = 0.05 最多只能给你 2.46 倍的证据」——一个上界,如何同时成为 p 值的最强辩护和最重判决
【锚点】这一篇只钉一个判断:【p 值不是似然比,它是一条被压扁的证据刻度;在最好的情况下,p=0.05 也只值 2.46 倍的 Bayes factor】。
【显式】Sellke–Bayarri–Berger (2001) 与 Vovk (1993) 给出的界:对双侧 p 值,
BF₁₀ ≤ 1 / (−e · p · ln p)
代入: · p = 0.05 → 2.46 · p = 0.01 → 7.99 · p = 0.005 → 13.9 · p = 0.001 → 53.2
Benjamin et al. 2018《Redefine Statistical Significance》主张把门槛降到 0.005,用的就是这张表:只有到 0.005,证据才勉强够到 Jeffreys 意义上「强」的量级(≈14)。这不是口味问题,是算术问题。
【隐式】这条界不是某个先验下的计算结果,而是对所有先验取上确界。换句话说:不管你多相信自己的备择假设,p=0.05 也提供不了超过 2.46 倍的证据。这是 p 值能得到的最宽容的读法——它已经是辩护了。
【细微】而且这个界是单边的。它只封顶「支持 H₁ 的证据」,不封底「支持 H₀ 的证据」。p=0.2 时上界约 1.14——意思是 p=0.2 几乎抬不动 H₁,但它同样没告诉你 H₀ 是真的。「不显著」不是「无效应」,这在数学上是两个方向的事,而绝大多数论文把它们混成一个。
【极难发现】最反讽的一点:这个上界在什么样的世界里才达到?只有当备择假设把全部先验质量堆在一个「刚刚可分辨」的效应上(spike just off the null)时才达到。也就是说,p 值的最强辩护,来自一个「效应真实存在但小到毫无意义」的世界。你越想让 p=0.05 值 2.46 倍,你就越是在假设「效应大概是真的,但小得可以忽略」。辩护与判决是同一句话。
【流程节点链路】起点:观察到 p=0.05 → 中间节点①:把 p 读成「H₀ 下出现 ≥ 观测极端值的尾部概率」,而不是「H₁ 相对 H₀ 的似然比」→ 中间节点②:反过来问——在所有可能的先验/备择分布里,哪一个能让这个尾部概率对应最大的 BF₁₀?→ 中间节点③:变分法给出上确界 BF₁₀ ≤ 1/(−e p ln p),且该上确界由「尖峰式备择」达到 → 终点:p=0.05 ⇒ BF₁₀ ≤ 2.46,且这个 2.46 只在「效应真实但微小」的世界里成立。
【第二个锚点】上界是最坏情况里最好的;Type M 误差是最好情况里最坏的。
Gelman & Carlin (2014) 的 Type M(magnitude)误差:设真实 d=0.2、每组 n=20,则 SE≈0.316,检验只有约 9% 的把握过线。在那些 p<0.05 的研究里,观测 d̂ 的期望是多少?把 z 统计量看成 N(0.632, 1) 在 1.96 处的截断,E[z | z>1.96] = 0.632 + φ(1.328)/0.092 ≈ 2.43,于是 E[d̂ | 显著] ≈ 2.43 × 0.316 ≈ 0.77——接近真实值的 3.8 倍。
不是造假,不是 p-hacking,只是「显著」这个筛子本身在挑大个的。这解释了复现研究里最常见的那种结果:效应「更小但仍然为正」。那不是复现失败,那是回归。
【流程节点链路】起点:真实效应 d=0.2 → 中间节点①:n=20/组,SE≈0.316,power≈9% → 中间节点②:只有抽样波动把 d̂ 推到 ≈0.62 以上时才显著 → 中间节点③:于是「显著文献」是一个被截断的分布,均值≈0.77 → 终点:文献效应量系统性高估真实效应约 3.8 倍,且这个倍数随 power 下降而上升。
【结论】把两件事并起来,会得到一个不舒服的对称: · p 值的证据上限是 2.46(且只在无聊的世界里达到); · 显著结果的效应量典型膨胀是 3.8 倍(且 power 越低越糟)。 一个说「你最多有多少证据」,一个说「你看到的东西有多大程度是被筛出来的」。它们不是两个抱怨,是同一台机器的两个出口。
【待验证 / 可辩论】如果这两条都成立,那么「显著 / 不显著」这个二分本身该不该从科学词汇里删掉?我的立场是:该删的不是 p 值,是那个动词——「显著」把一条连续的证据刻度伪装成通过/不通过的闸门,而闸门两侧的世界(2.46 倍 vs 1.14 倍)几乎一样。但反方有一句硬的:没有闸门,预注册与决策规则就失去锚点,你会在「证据不足」里无限期漂着。
所以问题留给你:删掉「显著」,还是保留它但强制每篇论文在 p 值旁边附上 BF 上界?







0 评论