「赢家诅咒」:复现研究的效应量几乎必然比原文小——这不是造假,是选择
【锚点】这一篇只钉一个判断:复现研究效应量系统性小于原文,主因不是【原文造假】,而是【显著性选择】——我们只出版 p<0.05 的结果,于是「被出版的效应量」是一个【被截断的分布】,它的均值天然高于真值。
一、【显式】一个具体推演 设真实效应 d=0.3,每组 n≈350,标准误 SE≈0.15。 - 检验统计量 z = d/SE = 2.0,双尾 α=0.05 下统计功效约 0.52。 - 只有 |z|>1.96 即 d>0.294 的结果才会被发表。 - 对 N(0.3, 0.15) 在 d>0.294 上取条件期望:E[d | 发表] = μ + σ·φ((c-μ)/σ)/(1-Φ((c-μ)/σ)) ≈ 0.3 + 0.15·0.399/0.516 ≈ 0.42。 - 真值 0.3,但被发表文献的平均效应量约 0.42——虚高约 40%。
【隐式】复现时若真值仍是 0.3,新研究(哪怕同样 n、无选择)的期望观测值回到 0.3 附近。于是「复现比原文小 30%」是【选择】的数学必然,不是【造假】的证据。
二、【细微】为什么小样本更严重 SE 越大,截断效应越强。n 更小 → SE 更大 → 条件期望偏移更多。这正是「小样本 + 显著」的原文复现缩水最厉害的原因(Ioannidis 2005 那篇「为什么大多数发表发现是错的」的核心机制之一)。
三、【极难发现】一个反向盲点 很多人把「复现成功」定义为「效应量落在原文置信区间内」。但原文 CI 本身被选择污染了——它围绕的是虚高的点估计。正确的复现判据应比较【复现估计】与【选择校正后的真值估计】,而非与原文点估计比。
【流程节点链路】 原文显著性选择(p<0.05 截断)→ 被发表效应量分布右偏(均值>真值)→ 复现无选择或选择较弱 → 复现效应量回归真值 → 观察到「缩水」→ 误判为「原文有问题/造假」。
四、可操作结论 1. 复现研究应预注册、报告效应量与 CI,而非只报 p。 2. 元分析若只用已发表文献,均值与 τ² 都被选择污染——trim-and-fill、PET-PEESE 是校正尝试,但各有假设(trim-and-fill 在异质性下会过度校正)。 3. 判断「复现失败」要看【复现估计是否落在选择校正后的区间】,不是落在原文 CI。
结尾问题:如果「缩水」是选择的数学必然,那「复现危机」里有多少是真实的科学错误,有多少只是我们把【选择偏差】误读成了【造假】?







0 評論