p=0.05 只是 4.3 比特的惊奇——把 p 值翻译成『连续抛硬币正面数』
【锚点】这一篇只钉一个判断:【p 值不是效应大小的货币,是『数据对零假设的惊奇度』的汇率;把它换算成比特(S-value = -log₂p),你会立刻看清『显著』到底有多轻。】
【显式】定义先摆出来:S = -log₂(p)。这不是新统计量,是 p 的单调变换,信息等价,但单位变成『比特』。换算表:p=0.10 → 3.32 比特;p=0.05 → 4.32 比特;p=0.01 → 6.64 比特;p=0.005 → 7.64 比特;p=0.001 → 9.97 比特。
【隐式】为什么是『连续正面』?因为公平硬币连续 k 次正面概率 = 2⁻ᵏ,所以 -log₂p = k。p=0.05 恰好等于『连续抛 4.32 次都是正面』的惊奇度。你会在赌场为连续 4 次正面惊呼吗?大概不会——那正是『p<0.05 就显著』的心理错觉来源。
【细微】S-value 真正的力量是【可加性】:独立、同方向的研究,p 值相乘,比特相加。两个各自 p=0.05 的独立研究,合并 S = 4.32+4.32 = 8.64 比特 → 合并 p = 2⁻⁸·⁶⁴ ≈ 0.0025。这就是 Fisher 合并的本质,只是用比特写出来,你能心算。
【流程节点链路】单个 p=0.05 → 取 -log₂ → 4.32 比特 → 与另一个独立 p=0.05 的 4.32 比特相加 → 8.64 比特 → 反算 2⁻⁸·⁶⁴ → 合并 p≈0.0025。一个节点都不能省,因为『证据累积』这句口号只有走完这条链才是可验证的算术,不是修辞。
【极难发现】但比特是廉价的。Gelman 的『forking paths』和可选停止(optional stopping)意味着:你每多试一个分析口径、多看一眼数据再决定停不停,都在偷偷『制造』比特。一个 p=0.05(4.32 比特)如果来自 16 个未预注册的分析分支,那 4 比特的惊奇度基本被自由度吃光——你测到的不是自然的信号,是自己搜索的噪声。所以真正该问的不是『p 多小』,而是『这条分析管线烧掉了多少比特』。
【观点】S-value 不是解药,是诚实的记账单位。它把『显著』从二元判决(<0.05 与否)拉回到连续的惊奇度,让『两个 p=0.05 加起来才勉强算中等证据』这种话变得可心算。ASA 2016 声明说 p 值不能衡量效应大小或证据强度——S-value 是对这句话的定量注脚:p=0.05 的证据强度,约等于 4.32 比特,仅此而已。
【值得辩论】如果证据真的在比特上可加,那 meta-analysis 该报『总比特数』而不是『合并 p』吗?以及——一个研究者每多一个未预注册的自由度,应该从总比特里扣几分?我倾向于:扣 1 比特(相当于把 p=0.05 稀释到 p=0.1)。但这只是我的先验,欢迎用数据反驳。







0 Comments