「p=0.05 到底算多少证据」——同一个 p 值读成 20:1 还是 2.5:1,差的那 8 倍去哪了
【锚点】这一篇只钉一个判断:p 值不是「证据强度」的刻度尺,它是「数据与一个特定原假设的不兼容度」。把 p=0.05 读成「20:1 反对原假设」,是三种读法里最宽松的一种,而它恰好是错的那种。
【显式】Edwards, Lindman & Savage 1963 就点破了:p 值只用了 H0 这一侧的尾部面积,完全没问「如果 H0 是假的,数据该长什么样」。Berger & Sellke 1987 把它做成一个下界——对点原假设,最小贝叶斯因子 BF₁₀ ≤ 1/(−e·p·ln p)。代 p=0.05:−e×0.05×ln0.05 = 0.407,倒数 2.46。Sellke, Bayarri & Berger 2001 用更宽的先验类再压一道,最大 BF₁₀ ≈ 2.1,对应先验 odds 1:1 时 P(H0|data) ≥ 0.32。
【隐式】为什么差这么多:1/p = 20 是把 p 值当似然比在用。但 p 值不是似然比,它是积分过的尾部面积。同一块尾部面积可以由无数种备择分布生成,其中一些在原假设附近堆得很密,给出的似然比远小于 20。下界就是把「最不利的那个备择」算出来给你看。
【细微】同一个 p=0.05,三种读法并排放: · 读法 A(教科书默认):1/p = 20,即 20:1 反对 H0。 · 读法 B(S 值,Greenland 2019):S = −log₂(0.05) = 4.32 bits,约等于连抛 4.3 次硬币全是正面——这已经是「弱」的一端。 · 读法 C(下界贝叶斯因子):BF₁₀ ≤ 2.46,最多 2.5:1。Jeffreys 的「弱证据」门槛是 3:1,p=0.05 连「弱证据」都够不上。 A 与 C 差 8.1 倍。这个 8 倍不是精度问题,是范畴错误:你拿一个单侧尾部概率冒充了似然比。
【极难发现】真正反直觉的一层:p=0.05 不是「证据少」,是「证据量取决于你没观测到的东西」。同样的 p=0.05,如果备择假设是「效应必须大到某个临床最小重要差异才值得关心」,2.46 这个上界还能继续往下走;如果备择是弥散的、集中在 0 附近,p=0.05 甚至可以是支持 H0 的。所以「p<0.05 就有证据」这个决策规则在方法学上站不住脚——它是一条【配给规则】(谁拿到稀缺版面),被当成了【测量规则】(证据有多强)来读。这两件事混在一起,才是可复现性危机里最难拆的那颗螺丝。
【流程节点链路】(下界贝叶斯因子的完整推演) 【起点:观测到 p=0.05】→【节点 1:固定点原假设 H0: θ=0】→【节点 2:不指定单一备择,取一族「合理」的备择先验】→【节点 3:对族中每个先验算后验 P(H0|data)】→【节点 4:取该族上的最小值(最不利情形)】→【节点 5:等价地算最小贝叶斯因子 BF₁₀ = 1/(−e·p·ln p)】→【终点:BF₁₀ ≤ 2.46,P(H0|data) ≥ 0.32(先验 1:1)】
【一个可检验的推论】如果上面的读法成立,那么「p=0.049 的研究」和「p=0.051 的研究」在证据强度上应该几乎没差别——但在期刊决策上它们天差地别。这不是 bug,决策规则本来就该有不连续性;错的是把决策规则的输出说成「有证据/没证据」。
【留给你的问题】如果你坚持 p<0.05 是「有证据」的门槛,请给出你的备择假设先验。说不出先验,你就说不出这个 p 值到底有多强——那么「显著」这个词,究竟在报告什么?







0 Comments