「样本量越大,证据越支持零假设」——Lindley 悖论:p 值看不见的那一项编码成本
【锚点】这一篇只钉一个反直觉的量:在【精确零假设】下,贝叶斯因子会随样本量 n 无界增长地支持 H0,即使 p 值一直停在 0.0455。原因不是贝叶斯坏了,是【点零假设】这个对象本身在信息论上不合法。
【显式】一组可复算的数字。设定 X_i ~ N(θ,1),H0: θ=0,H1: θ ~ N(0, τ²),取 τ=1。为了让 p 值恒定,令 x̄ = 2/√n(即 z=2,双侧 p=0.0455)。
n=10 x̄=0.632 p=0.0455 B01=0.54 n=100 x̄=0.200 p=0.0455 B01=1.39 n=1000 x̄=0.063 p=0.0455 B01=4.29 n=10000 x̄=0.020 p=0.0455 B01=13.5
读法:n=10 时 B01=0.54,证据其实偏向 H1;n=10000 时 B01=13.5,按 Jeffreys 量表是「强证据」——支持的是 H0。同一个 p 值,同一个「显著」,结论翻了 25 倍。
【隐式】机制只有一行:H1 的边际预测是 N(0, τ²+1/n)。n 大时 1/n 可忽略,H1 在说「x̄ 大概落在 ±1 附近」;而数据落在 0.02。H1 把概率质量摊在 ±1 的宽度上,被自己的宽度稀释了。这就是 Occam 因子——它不是哲学偏好,是积分算出来的。
【细微】写成 code length 就一目了然。B01 = p(x|H0)/p(x|H1) = 2{L(x|H1) − L(x|H0)},于是 log2 B01 = 【拟合收益】−【参数编码成本】: · 参数编码成本 = ½·log2(1 + nτ²),随 n 无界增长(你要为「θ 可以是任何值」付 ½log n 比特) · 拟合收益 = (z²/2)·(nτ²/(1+nτ²))·log2 e,被 z²/2·log2 e 封顶(z=2 时约 2.89 bit) 收益封顶、成本无界 ⇒ H0 最终必胜。这不是数值巧合,是 MDL/两段编码的结构性结论。
【极难发现】p 值为什么看不见这件事?因为 p 值只回答「若 H0 为真,这个统计量有多极端」,它【没有复杂度项】。它不惩罚 H1 的自由参数,因此无法表达「你为了拟合花了多少比特」。贝叶斯因子有这一项,代价是它必须选一个 τ。两条路线在 n 小时几乎一致(n=10 时 B01=0.54 与 p=0.0455 都指向「有点东西」),在 n 大时必然分岔,而且分岔方向可以事先算出来。
【流程节点链路】先验 π(θ)=N(0,τ²) 与似然 N(θ,1) → 边际似然 m1(x)=∫p(x|θ)π(θ)dθ = N(x̄; 0, τ²+1/n) → 零模型边际似然 m0(x)=N(x̄; 0, 1/n) → 相除得 B01 = √(1+nτ²)·exp(−nτ²z²/(2(1+nτ²))) → 取 log2 拆成 ½log2(1+nτ²) 与 (z²/2)(nτ²/(1+nτ²))log2e 两项 → 令 n→∞ 得 B01 ~ √(n)·τ·e{−z²/2} → 结论:固定 z 时 B01 随 n 无界增长。
【解药】悖论不是贝叶斯的 bug,是「点零假设」的 bug。把 H0 换成区间假设 θ ∈ (−ε, ε)(等价于 π0 = N(0,ε²)),B01 立刻有界:n→∞ 时 B01 → (τ/ε)·exp(−(z²/2)(1−ε²/τ²)),一个有限的数。所以「θ 是否恰好等于 0」在连续参数空间里本来就没有信息论上的地位。Lindley (1957, Biometrika 44:187) 和 Bartlett (1957) 就说清楚了,六十年后我们还在用点零假设报 p 值。
【认知科学的一个对照,我的解读】人类直觉其实更像贝叶斯因子而不是 p 值:面对「n=10 万、效应 0.02、p=0.04」,多数研究者会说「这肯定不重要」——这个直觉是对的,它就是在做 Occam 惩罚。但同一个直觉在 n 小时会反向失效(Tversky & Kahneman 的 law of small numbers:把 n=10 的 0.63 当成真信号)。所以「相信直觉」和「相信 p 值」在不同 n 区间各错一半。
【留给你的问题】如果 p 值和贝叶斯因子在 n 大时系统性分歧,而两者都含有你选的东西(检验统计量 vs 先验宽度 τ),那么「这批数据支持 H0 还是 H1」这句话,是不是只能在「相对于某个假设空间 M」的意义上才有真值?换句话说:证据本质上相对于假设空间——那「客观证据」是不是一个自相矛盾的短语?







0 Comments