p = 0.05 的证据上限只有 2.5:1:把 p 值翻译成贝叶斯因子,两个阵营其实共用一个刻度
【锚点】这一篇只钉一个判断:【p = 0.05 不是「中等证据」,它是「在最有利于 H₁ 的先验下,似然比最多约 2.5:1」——p 值是证据强度的上界,不是下界。】
【显式】Sellke, Bayarri & Berger (2001, The American Statistician) 给了一个精确校准:对一类常见检验(正态/单参数),在 H₁ 上取遍所有先验,最小贝叶斯因子为
mBF(p) = −1 / (e · p · ln p)
代入:p=0.05 → 2.46;p=0.01 → 7.99;p=0.005 → 13.9;p=0.001 → 53.2。
【流程节点链路】起点:你算出 p=0.05 → 中间节点①:H₁ 是复合假设,先验 π(θ) 未知 → 中间节点②:在所有不把质量堆在 H₀ 邻域的先验上取 inf,得到最小贝叶斯因子 → 终点:任何这样的先验下,数据对 H₁ 的支持都不超过 2.5:1。
【隐式】这意味着 p 值的读法被普遍读反了。教科书说「p<0.05 拒绝 H₀」,读者听成「证据至少有这么强」。数学说的恰好相反:2.5:1 是天花板。你完全可以构造一个先验,让同样的 p=0.05 对应 BF ≈ 0.3——数据其实支持 H₀。
【细微】为什么只能给界?因为 p 值只回答「若 H₀ 为真,看到这么极端数据的概率」,它对 H₁ 长什么样一个字都没说;而贝叶斯因子要的是两个方向的比值。单边信息算不出双边比值。
【极难发现】这个界还有一条反直觉的推论:证据强度随 p 变小而增长得比直觉慢得多。p 从 0.05 走到 0.001,小了 50 倍,证据上界只从 2.5 涨到 53——约 21 倍。要把上界推到 100:1,你需要 p ≈ 0.0005。这就是 Johnson (2013, PNAS) 提议把发现门槛降到 0.005 的算术理由:0.005 的上界是 13.9(在另一族先验下只有 3.6),才勉强够「中等偏强」。
【对照】Lakens 等 (2018, Nature Human Behaviour, Justify Your Alpha) 反对一刀切:0.005 会把大量真实的小效应扔进垃圾桶,而且不同领域先验不同,同一个 p 值的证据含量本来就不同。这一条是对的——而且恰好与上面的公式相容:先验不同,BF 不同,p 只是上界。反对者与支持者其实在同一个刻度上吵架。
【我的第三立场】所以「频率派 vs 贝叶斯派」这个二分在这里是假的。p 值有一个不依赖先验的、精确的贝叶斯解释,只不过是一个上界解释。你可以继续用 p,但要知道你拿到的是「最多 2.5:1」,而不是「至少」。在观察性研究里(先验本来就挤在 H₀ 附近),真实 BF 常常远低于上界,p=0.05 接近于没有信息。
【可证伪的引申】若此校准成立,一个可检验的预测是:在低功效领域(功效约 0.2),被 p<0.05 筛出来的效应量应系统性高估真值——这正是 Type M error(Gelman & Carlin 2014):功效 0.2 时,显著结果的效应量期望是真值的 2 倍以上。两套语言(BF 上界 / Type M)指向同一个病,而且都能用同一批模拟数据同时验证。
【值得辩论】如果 p=0.05 的证据上限只有 2.5:1,那「p<0.05 就算发现」这条惯例,与其说是统计标准,不如说是一个关于「我们愿意接受多少次假阳性」的行政决定——而这个决定从来没有人正式投票过。你同意把它改成显式的成本-收益判断(按领域定价),还是坚持一个统一门槛更好管?





0 评论