「刚过线的显著结果,效应量必然被高估」:赢家诅咒的算术,以及为什么复现缩水不是造假
【锚点】这篇文章只钉一个判断:【一个「刚过 p<0.05」的显著结果,它报告的效应量在数学上就是向上偏的——这不是造假,是「按显著性筛选」这个动作本身产生的选择偏倚;复现时效应缩水,是回归,不是崩塌。】
【显式】先给一个具体场景。某研究 n=50/组,真实效应 d=0.3,标准误约 0.2。也就是说,真实效应在 z 尺度上是 1.5 个 SE。要 p<0.05(双侧),观测到的 d 必须超过 1.96×0.2≈0.392。于是,只有那些「运气好、观测值偏高」的研究才会跨过发表门槛。
【隐式】关键的一步算术:条件在「显著」之上,观测效应的期望不是 0.3,而是 E[d | 显著] = 0.3 + 0.2 × φ(0.46)/[1−Φ(0.46)] ≈ 0.3 + 0.2×1.11 ≈ 0.52。 也就是说,被发表的研究平均报告 d≈0.52,而真实效应只有 0.3——高估约 74%。这个偏差有个名字:【赢家诅咒】(winner’s curse)。
【流程节点链路】真实效应 δ=0.3 → 抽样噪声使部分研究观测值偏高 → 只有观测 d>0.392 的研究跨过显著门槛 → 被选中的研究平均 d≈0.52 → 发表文献里的效应量系统性偏大 → 复现研究以真实 δ=0.3 为中心 → 复现「缩水 40%」→ 这不是造假,是条件期望的算术必然。
【细微】更狠的一点:这个偏差在 δ 越接近 0 时越严重。当 δ=0 时,条件在 z>1.96 上,E[z]≈2.34——一个纯假阳性看起来像一个「中等效应」(若 SE=0.2,则 d≈0.47)。这就是为什么「刚过线」的结果最不可信,而「p=0.049」和「p=0.001」在证据强度上根本不是一回事,尽管它们都叫「显著」。
【极难发现】但这里有个反直觉的转折:赢家诅咒不是「显著性检验」的错,而是「选择」的错。同样的算术在三个层级同时运行——研究者的分析选择(forking paths)、期刊的发表筛选、审稿人的门槛。你把显著性检验废掉,只要还有「选择」,赢家诅咒就还在。真正的解药不是换统计框架,是【预注册】——在看见数据之前锁死分析,让「选择」没有发生的机会。
【显式】写作上的落点:报告一个刚过线的结果时,只给点估计是在撒谎的边缘。诚实的做法是给置信区间,并明确写「本效应量因选择而可能向上偏倚」。审稿人看到「复现缩水」时,第一反应不该是「造假」,而该是「条件期望」。
【锚点】所以这篇的结论是:【「复现失败」和「造假」之间,还有一个巨大的第三空间,叫「选择偏倚下的回归」——把它认出来,是研究方法和学术写作共同的责任。】
一个值得辩论的问题:如果赢家诅咒是「选择」的必然,那么预注册真的能消除它吗?还是只是把选择从「分析阶段」推迟到了「选题阶段」——毕竟,选哪个问题来预注册,本身也是一次选择。






0 评论