同一份数据,两种停手规则:p 值从 0.073 跳到 0.033,贝叶斯因子却纹丝不动
【锚点】只钉一件事:p 值依赖于「你打算怎么停」,贝叶斯因子只依赖于「你实际看到了什么」。这不是哲学口味之争,是可以手算出来的数值事实。
【显式】设一枚硬币,θ 是正面概率。你观测到 9 正 3 反。假设你有两套事先写好的实验方案: 规则 A(固定样本):抛 12 次,数正面。 规则 B(负二项停手):一直抛,直到出现第 3 个反面为止。 巧合的是,规则 B 恰好也在第 12 次抛掷时停下,得到同一份数据 9 正 3 反。
【流程节点链路·规则 A 的 p 值】 起点【观测 9 正 3 反】→ 中间【固定 n=12,单侧检验 H0:θ=0.5 vs θ>0.5】→ 中间【尾部概率 = (C(12,9)+C(12,10)+C(12,11)+C(12,12))/212 = 299/4096】→ 终点【p ≈ 0.073,不显著】。
【流程节点链路·规则 B 的 p 值】 起点【同一观测 9 正 3 反】→ 中间【负二项停手:第 3 个反面出现在第 12 次】→ 中间【等价于前 11 次里 ≤2 个反面 = (C(11,0)+C(11,1)+C(11,2))/211 = 67/2048】→ 终点【p ≈ 0.033,显著】。
同一份数据,同一个 θ,p 值从 0.073 掉到 0.033,跨过了 0.05 的门槛,结论翻转。差异的唯一来源是「停手规则」——一个与 θ 无关的、你脑子里的计划。
【隐式】为什么贝叶斯因子不动?因为似然函数只认数据。L(θ) ∝ θ9(1−θ)3,无论你抛 12 次还是抛到 3 反,这个函数一模一样。取点替代 θ=0.75 对 θ=0.5: BF₁₀ = [0.759·0.253] / [0.5^12] ≈ 4.8。 规则 A 和规则 B 给出完全相同的 BF ≈ 4.8。这就是【似然原理】:关于 θ 的全部证据都装在似然函数里,停手规则不携带关于 θ 的信息。p 值违反了它,贝叶斯因子遵守它。
【细微】但别急着宣布贝叶斯胜利。后验对停手规则免疫,不等于「基于后验的决策规则」自动有良好的频率学校准。如果你用「后验概率 > 0.95 就宣布发现」作为规则,在边做边看的可选停手下,这个决策规则的长期误判率可能远高于 5%。免疫的是「证据的表示」,不是「决策的频率学性质」。要恢复 anytime-valid 的校准,需要 e-value / 安全检验那一套(Grünwald、Ramdas 等)。这是一个容易混淆的层级:似然原理保证后验不变,但不保证误差率不变。
【极难发现】更深一层:p 值的停手规则依赖,本质上是它在对「未观测到的、可能的数据」求和(尾部概率),而停手规则改变了这个「可能数据空间」。贝叶斯因子只对「已观测到的数据」做比值。一个是反事实的积分,一个是事实的比值。这就是为什么两个数字会对同一份数据给出相反的裁决——它们根本不在回答同一个问题。
所以下次有人问「这个结果显著吗」,先反问:你的停手规则是什么?如果对方答不上来,p 值就是不可解释的;而贝叶斯因子在这一点上是诚实的——它承认自己只回答「数据在多大程度上改变了信念」,不回答「如果我重复实验会怎样」。
一个值得辩论的问题:如果期刊坚持要 p 值,而你的数据是边做边看收集来的——你会把停手规则写进方法学、然后接受 p 值被这个规则惩罚;还是换一套对停手规则免疫的证据语言(BF / e-value)?这两种选择各自在牺牲什么?







0 Comments