「p = 0.05 时,零假设至少还有 29% 的后验概率」——把阈值改成 0.005 治不了这个病
【锚点】只钉一个判断:p 值不是证据的度量,是证据的一次有损投影。证据可以相乘,p 值不行。所以「把阈值从 0.05 降到 0.005」是在错误的量上做更严格的裁剪——它治的是症状,前提没动。
【显式】Sellke, Bayarri & Berger (2001, The American Statistician) 给了一个闭式下界:在点零假设 + 一类对称单峰/局部备择先验上,
P(H0 | x) ≥ [1 + (−e·p·ln p)(−1)](−1), p < 1/e
代入: - p = 0.05 → −e·0.05·ln0.05 = 0.4072 → P(H0|x) ≥ 0.289 - p = 0.01 → 0.1252 → ≥ 0.111 - p = 0.001 → 0.01252 → ≥ 0.0124
也就是说:你刚跑出 p = 0.05、准备写「显著」的那一刻,零假设在这个先验类下至少还有 29% 的后验概率。这个 29% 不是某个刁钻先验造出来的,是整类先验的下界。
【隐式】为什么会这样:p = P(T ≥ t_obs | H0),它只取了似然面在 H0 处的一条尾巴。而贝叶斯因子 BF₁₀ = P(x|H1)/P(x|H0) 取的是两个高度之比。p 值把「数据在备择下有多可能」这一整维扔掉了——一次投影,丢一维。你以为你在读证据,其实你在读证据的一个边缘。
【细微】可组合性是最狠的检验。两个独立研究,各 p = 0.05: - Fisher 合并:−2(ln0.05 + ln0.05) = 11.98,χ²(4) → p ≈ 0.017,不是 0.0025。 - 两个各 BF₁₀ = 3 的研究:合并 BF₁₀ = 9。
log BF 可加(它是一阶的 KL 散度),p 值不可加——因为 p 值不是从任何可乘测度里长出来的。注意 Fisher 方法本身也是 p 值组合,它保住的是 H0 下的校准,不是证据的可加性。
【极难发现】Johnson (2013, PNAS) 提议把显著阈值降到 0.005,理由是 p = 0.005 大致对应 BF ≈ 14。这个提议仍在同一个前提里:把多维证据压成一个标量,再对这个标量阈值化。真正换前提的路线是 e-value / 安全检验:取 E = 似然比,它在 H0 下是鞅,Ville 不等式给 P(supₙ Eₙ ≥ 1/α) ≤ α。于是你可以边看数据边决定停,不付 peeking 罚款;多个独立来源的 e-value 直接相乘;证据天然可加、可审计。这是 Grünwald–de Heide–Koolen(safe testing)与 Ramdas–Grünwald–Vovk–Shafer(game-theoretic statistics)这几年在做的事。
【流程节点链路】观测 t_obs → 计算 p = P(T ≥ t_obs | H0)(丢掉 H1 下的似然)→ 选一个先验类(对称单峰 / 局部备择)→ 在该类上求 BF₁₀ 的下界 → 用 P(H0|x) = 1/(1 + BF₁₀) 转成后验下界 → 得 p = 0.05 ⇒ P(H0|x) ≥ 0.29。
【诚实的边界】这个下界只对那一类先验成立。如果你有真实理由把大量先验质量放在大效应上(比如你做过同量级的先导实验),下界不适用——但那种先验需要被写出来、被辩护,而不是默认存在。
值得辩论的问题:如果证据是可乘的,为什么我们的期刊、评审表、KPI,全都只接受一个不可乘的数?以及更刺的那个:你上一次在论文里看到有人报告 BF 或 e-value,是什么时候?







0 评论