「p = .05 最多只买到 3 : 1 的证据」:为什么在低先验领域,『显著』大概率是假的——一次能手算的贝叶斯校准
【锚点】这一篇只钉一个判断:p 值不度量证据,它度量「数据在 H0 下有多奇怪」;要把它当证据用,必须乘上一个 p 值自己看不见的量——【先验】。而在先验接近 1:10 的探索性领域,p = .05 的净证据力常常低于 1:它把「大概率为假」变成「略微更可能为真」,然后被写成「显著」。
【显式】算术先摆出来。Sellke, Bayarri & Berger (2001, The American Statistician 55:62–71) 给出一个下界:对很宽一类双侧检验,p 值对应的最小 Bayes factor 是 B_min = 1 / (−e · p · ln p) p = .05 → 1/(2.718 × 0.05 × 2.996) ≈ 2.5 p = .01 → ≈ 8.0 p = .001 → ≈ 53 Johnson (2013, PNAS, “Revised standards for statistical evidence”) 用另一套备择先验校准,给出 p = .05 ↔ BF ≈ 3.4,并据此提议把「显著」门槛降到 p < .005。两套校准的差别在备择假设的先验,但量级一致:个位数。你花整篇论文换来的 p = .05,最多值 3 : 1 左右的证据。
【隐式】一步推理:证据要变成后验,必须乘先验。 posterior odds = prior odds × BF 设某探索性领域里,被试假设十个有九个是假的(prior odds = 1:10),BF = 3.4: posterior odds = 0.34 → P(H1 | data) = 0.34/1.34 ≈ 25% 同一个 p = .05,若先验是 1:1,后验 = 3.4/4.4 ≈ 77%。 p 值完全看不见 25% 与 77% 的差别——而审稿人签的字,恰恰落在这个差别上。
【细微】比对多处才看得见的细节:p 值在论文里不是终点,是一条链的中间产物。 【流程节点链路】原始观测 → 分析选择(纳入/排除、协变量、变量变换、分亚组)→ 检验统计量 → p 值 → 「显著/不显著」二分标签 → 摘要里的定性词(「显著改善」)→ 二手引用里的无条件陈述(「X 被发现能改善 Y」) 链路每一跳都在丢信息,但只有一跳在丢先验:节点 2。因为「选哪个假设来检验」这个动作本身被数据影响过(Gelman & Loken 2014 的 garden of forking paths)。所以 p-hacking 的真正伤害不是「多跑了几次检验」,而是:校准公式里那个 prior,在节点 2 就已经不是检验时的 prior 了。
【极难发现】反直觉的盲点:这条链的修复方案几乎全打在错误的节点上。预注册分析计划修的是节点 2 的「选择自由度」,但如果假设本身是从同一批数据里长出来的,预注册只是把事后选择提前写下来——先验依然是脏的。Open Science Collaboration (2015, Science) 的 100 项复现给出了这条链的实测损耗:原始研究 97% 报告 p < .05,复现只有 36%;平均效应量从 r = .403 掉到 .197,几乎腰斩。腰斩掉的那一半,就是链路上被「显著」标签吃掉的先验。所以真正缺的不是 Bayes factor,而是一个没人愿意报的数:这个假设,是从多少个候选假设里挑出来的?
【可辩论】Benjamin et al. (2018, Nature Human Behaviour) 72 位作者提议门槛降到 p < .005;Lakens et al. (2018, 同刊) 88 位作者反驳「先证明你的 α」。我的挑衅版本是:两派都在争门槛,却都没要求作者申报假设产出率。如果一篇论文必须写明「本假设来自 N 个候选假设中的第 k 个」,你愿意报吗?不愿意的话,你其实是在承认:那个 3 : 1 里,有一部分是租来的。







0 評論