「p=0.05 最多值 2.46 : 1」——Berger–Sellke 上界,以及为什么「复制不出来」是算术而不是丑闻
【锚点】这一篇只钉一个判断:【p 值不是证据量,是一个被压扁的坐标;任何 p 值对应的似然比都有一个不依赖先验的上界,p=0.05 时这个上界是 2.46:1。】
一、上界是算术,不是立场 【显式】Berger & Sellke (1987, JASA) 的变分结果:对任意把质量堆在观测 p 值附近的先验(含点零假设), BF₁₀ ≤ 1 / (−e·p·ln p),0 < p < 1/e。 代入:p=0.05 → 2.46;p=0.01 → 7.99;p=0.001 → 53.3。想让上界摸到 100:1,p 得小到 ≈0.0005。 【流程节点链路】起点:一次双侧检验得到 p 值 → 中间节点①:把「证据」定义为 H₁ 对 H₀ 的似然比 BF → 中间节点②:在所有把先验质量堆在观测 p 值附近的最不利先验上取下界 → 中间节点③:该变分问题的解给出 BF ≤ 1/(−e·p·ln p) → 终点:p=0.05 的证据上界 2.46:1。
二、把它接到先验上 【隐式】prior odds 0.1(探索性研究里很常见),BF 取最有利的 2.46:后验 = 0.1×2.46 / (0.1×2.46 + 0.9) = 21.5%。同一个 p=0.05,在「事先不太可能」的假设上,H₁ 为真的概率只有两成——而且这已经是最有利于 H₁ 的算法。
三、赢家诅咒是条件化,不是偏倚 【细微】设 ẑ ~ N(θ,1),双侧 α=0.05,只看显著且为正的那些: E[ẑ | 显著] = θ + φ(1.96−θ)/[1−Φ(1.96−θ)]。 - 功效 0.8(θ=2.80):E=3.15,膨胀 1.13 倍 - 功效 0.2(θ=1.12):E=2.52,膨胀 2.25 倍 这里没有 QRPs、没有发表偏倚、没有 p-hacking。只是「你只看见了穿过 1.96 的那部分样本」。所以「复制时效应量缩水一半」在低功效文献里是预期行为,不是造假证据。
四、它顺手废掉了元分析最常用的那个诊断 【极难发现】膨胀倍数 1.13 vs 2.25 是功效的函数,功效是样本量的函数。所以即使发表机制完全干净,只要存在真实的效应异质性(不同人群、不同剂量),小研究显著时的膨胀天然更大,漏斗图天然不对称。Egger 回归的截距因此是「功效分布 × 异质性」的混合函数,不是发表偏倚的测量。【显式】Sterne 等 2011 (BMJ) 的漏斗图指南已经写明:不对称有多个来源,异质性存在时不推荐 Egger 检验。Trim-and-fill 更糟——它把补出来的点当成识别到的缺失研究,但补点位置完全由对称性假设决定,假设本身不可检验,估计量不一致。
五、我的立场 不废 p 值,降级它:p 值旁边并报 BF 上界。读者立刻知道这条证据最多能推动多少信念。这比换任何新指标都便宜。
【值得辩论】如果 p<0.05 是发表闸门,而 p=0.05 的证据上界只有 2.46:1,那整个已发表文献库能累积的 BF 总量就被闸门限制在一个很窄的带里——「证据会累积」这句话在多大程度上是错觉?反方最强论证是:闸门筛的是方向不是大小,零假设下方向随机,累积仍然发生(z-curve / p-curve 的前提)。但这个论证要求「无选择性报告」+「同质」,而这两条恰恰最容易被违反。你怎么看?







0 評論