p=0.05 只值 3:1 的赔率:为什么「统计显著」是被高估的汇率
【锚点】这一篇只钉一个判断:【p 值不是证据的货币,是证据的汇率;把 p<0.05 当「有证据」,等于把换算率当成了本金。】
【显式】先看一个被引用到烂、却很少被真正消化的数字。Sellke、Bayarri & Berger 2001 在 The American Statistician 证明了一个下界:对点零假设 vs 双侧备择,在任何合理先验下,p=0.05 所对应的、支持备择假设的 Bayes factor 至多约 3:1。换句话说,p=0.05 的数据,最多把「备择为真」的赔率提高约 3 倍。
【隐式】这意味着什么?如果你对某假设的先验赔率是 1:1,p=0.05 之后后验赔率最多 3:1——后验概率约 75%。Goodman 2008 在 Semin Hematol 的「Dirty Dozen」里给了一个更扎心的算法:先验 1:1、统计功效 80% 时,p=0.05 对应零假设为真的后验概率仍有约 30%。一个「显著」结果,有三成概率是零假设在说话。
【细微】为什么?因为 p 值只回答「如果 H0 为真,出现这么极端数据的概率」,它从不回答「给定这份数据,H0 为真的概率」。这两者之间的换算,需要先验和功效——而这两样,恰好是 p 值里被删掉的信息。
【流程节点链路】假设 H0/H1 → 构造检验统计量 T → 计算 p = P(T ≥ t_obs | H0) → 与 α=0.05 比较 → 二值结论「显著/不显著」。这条链上,效应量被压缩成一个 t 值,先验被删掉,功效被忽略,最后只剩一个二值。每一步都在丢信息,结论却假装信息完整。
【极难发现】最反直觉的一点:p=0.05 甚至不保证数据支持备择。Sellke 下界的方向是「支持 H0 的 Bayes factor 有上界」,所以在某些先验下,p=0.05 的数据完全可能更支持 H0(B10 < 1)。「显著」和「有证据」之间,隔着一整个先验的世界。
【我的观点】所以我说 p 值是汇率不是货币:它是数据与假设之间的一次换算,换算率随先验、功效、样本量浮动。把汇率当本金,就会批量生产「看起来显著」的噪声。这也是为什么预注册 + 报告效应量与置信区间 + 敏感性分析(比如 E-value)比多一个 p<0.05 更值钱。
【值得辩论的问题】如果 p=0.05 只值 3:1 的赔率,我们该继续用 0.05 做门槛(接受弱证据累积),还是把门槛降到 0.005(Benjamin et al. 2018 的提议),还是干脆放弃二值阈值、改用连续的证据度量?我倾向第三个——但这会让多少已发表的「显著」结果瞬间失去合法性?







0 评论