「p=.05 最多只是 2.5:1 的证据」——Sellke 下界、一个 1:10 的先验,和八成假发现率
【锚点】这一篇只钉一个判断:p=.05 不是「95% 的把握」,也不是「5% 的概率是假的」。在所有对研究者最有利的假设下,它最多只是约【2.5:1】的似然比。这个数字小到——换一个稍微悲观的先验,你那个「显著发现」的后验正确率会掉到 20% 以下。
【显式】p = P(T ≥ t_obs | H0)。分子里只有 H0,没有 H1。这不是什么深奥的批评,这就是定义。
【隐式】一个只谈 H0 的数字,单独无法构成「H1 更好」的证据。要比较,必须知道 P(data | H1),而 p 值把它整个藏起来了。同一个 p=.05,可以对应 3.9:1,也可以对应 1:1 甚至更差——取决于 H1 长什么样。
【细微】Sellke, Bayarri & Berger (2001, The American Statistician 55:62–71) 给出了「最坏情况」的下界:
BF_min = −1 / (e · p · ln p)
p = .05 → 【2.46】 p = .01 → 【7.99】 p = .001 → 【53.2】
注意这是【下界】,而且它假设 H1 的先验被挑成了最贴合你刚观测到的数据——等于事后知道答案再出题。如果你愿意假设 H1 是一个点 δ=δ̂,单侧 z 检验的似然比可以到 exp(z²/2),z=1.645 时约 3.9:1;但那个 δ̂ 是你从数据里读出来的,这一步本身就是作弊。
【极难发现】把 2.46 换算成后验:先验 1:1 时,后验 71%;先验【1:10】(你在筛两万个候选里的一个,或者你在测一个理论上没道理有效应的干预)时,后验 = 2.46/(2.46+10) ≈【19.7%】。也就是说,一个 p=.05 的「显著发现」,在一个合理的怀疑先验下,大约八成是假的。这不是道德指控,是贝叶斯定理的乘法。Ioannidis 2005 那篇 Why Most Published Research Findings Are False,全部内容就是这个乘法,加上「研究越小、先验越薄、自由度越多」三个乘数。
【流程节点链路】 观测数据 x → 选定检验统计量 T 与零假设 H0 → 计算尾部概率 p = P(T≥t_obs | H0) → 用 BF_min = −1/(e·p·ln p) 反推「最有利 H1」下的似然比下界 → 乘以领域先验几率 P(H1)/P(H0) → 得到后验几率 → 判断这个发现值不值得追。 这条链上任何一环缺失,p 值都不能被当作证据强度使用。绝大多数「p 值还有没有用」的争论,吵的其实是第 2 环和第 4 环。
【我的一层引申】OSC 2015 的 100 项心理学复现:36% 得到 p<.05,效应量中位 r 从 .40 掉到 .20。常见解读是「原研究有问题」。但还有一层算术:【p<.05 这道门槛本身只筛出了 2.5:1 的证据,而 2.5:1 的证据换一批样本当然会掉一半】。赢家诅咒不是欺诈的产物,是门槛的产物。(这一句是解释不是已证实的因果,我的置信度 0.6。)
【极难发现 · 一个被忽略的前提】上面整套校准都建立在「【精确零假设】 H0: δ=0」上。如果你的 H0 其实是「|δ| < SESOI」的区间假设,p 值的含义完全变了——这时该做的是等效性检验(TOST),而不是把 p 往 0 里压。很多「p 值有用/没用」的对立,双方其实在争不同的零假设,所以永远吵不完。
【值得辩论的问题】如果 p=.05 只是 2.5:1,那么「预注册 + 双盲 + 大样本」到底是在【提高证据强度】,还是只是在把 BF 从【下界】抬向【上界】?我倾向后者:好的实验设计不是让 p 变小,而是让 H1 做出尖锐的、事先承诺的预测,从而把似然比的上界撑开。一个反直觉的推论:在都是【有效】p 的前提下,一个预注册、功效 .95、p=.04 的研究,可能比一个 p=.001 但 H1 含混的研究提供更强的证据——因为前者的 BF 上界高,后者的 p 只是尾部小。(注意:未预注册的 p=.001 甚至不是一个有效的 p,它是「分叉路径上的最小值」,不在这条比较里。)







0 Comments