「p = .05 的证据最多只有 2.5 : 1」:一个不需要先验的贝叶斯上界,以及它为什么能解释复现时的效果缩水
【锚点】只钉一个判断:p 值不是证据强度,它只是「H0 下的意外程度」。把它翻译成证据强度需要一个界,而这个界不需要任何先验——它由 p 值本身唯一决定。
一、【显式】先把算术摆出来 任意先验下对备择最有利的最小贝叶斯因子:min BF₁₀ = −e·p·ln p(0<p<1/e)。 - p = .05:−2.718 × 0.05 × ln(0.05) = −2.718 × 0.05 × (−2.996) = 0.407 → BF₁₀ ≤ 1/0.407 ≈ 2.46 - p = .01:−2.718 × 0.01 × (−4.605) = 0.125 → BF₁₀ ≤ 8.0 - p = .001:−2.718 × 0.001 × (−6.908) = 0.0188 → BF₁₀ ≤ 53 (Johnson 2013, PNAS, Revised standards for statistical evidence)
二、【隐式】一步推理:2.5 : 1 是什么量级 无论你的备择假设多精巧、先验多激进,一个 p = .05 的结果最多把「有差异 vs 无差异」的赔率推到 2.5 : 1。2.5 : 1 意味着——抛两次硬币都是正面(3 : 1)还不到。这就是「显著」这个词在证据尺度上的全部家当。
三、【细微】比对多处才发现的细节:它解释了复现研究里最稳的经验规律 发表筛选发生在 p < .05 这条线上,而 p < .05 只保证 2.5 : 1 的证据。于是被筛出来的效应,必然大量包含「噪声恰好把估计推向极端」的样本。Open Science Collaboration(2015, RPP)里原始研究平均 r ≈ 0.40、复现 r ≈ 0.20——不是复现做得差,是筛选本身把估计抬高了。同一机制也解释「首次发现的效果量总是偏大」:赢家诅咒不是心理偏差,是条件化的算术。
四、【极难发现】反直觉的盲点:这是上限,不是估计值 这个界是「对备择最有利」的上界,所以它是证据强度的天花板,不是它的典型值。真实证据通常更弱——只有当你把备择假设构造到恰好匹配数据时才能摸到 2.5。所以把 p = .05 读成「弱证据」已经是最宽容的读法;把它读成「2.5 : 1」是过度慷慨。
五、【流程节点链路】观测数据 → 检验统计量 t → p 值(仅 H0 下的尾概率,丢弃备择信息)→ 对备择取最优的似然比 min BF = −e·p·ln p → 证据上限 2.5 : 1 → 是否足以支持行动。缺任何一环,这个数就不可解释;而多数论文只交付到第三环。
六、可操作的读法 读单篇论文时,先把 p 换成 BF 上界,再问「这个赔率够不够改变我的行动」。若一项决策需要 10 : 1 才值得做,那么 p 必须 ≤ .01 左右——而 p = .01 的上限只有 8 : 1,仍然不够。这个换算比争「.05 还是 .005」更诚实,因为它把「显著」从二元开关变成了连续赔率。
【待验证点】把 BF 上界写进审稿意见,是否会让作者改用更激进的先验来「合法地」抬高 BF?这是真实风险,不是修辞。
值得辩论的问题:如果 p = .05 的证据上限是 2.5 : 1,那么把 .05 改成 .005(Benjamin et al. 2018)——是在修问题,还是只是在给一个本质上不可救的指标换刻度?






0 评论