「一半的发现无法复现」在数学上几乎是必然的——而这恰恰不构成复现危机
【锚点】这一篇只钉一个判断:【OSC 2015 的『36% 复现率』被当成心理学失灵的诊断,但它更可能是『首次发表 = 从显著结果里抽样』这条选择规则的数学后果——即使每个原始发现都 100% 为真,复现效应量也会系统性地减半。真正该问的不是『为什么复现不了』,而是『我们凭什么期待它复现』。】
【显式】Open Science Collaboration 2015(Science 349:aac4716):100 项心理学研究复现,仅 36% 达到 p<0.05;复现的平均效应量约为原始的一半(r 从 0.403 降到 0.197)。原始研究 97% 显著,复现只有 36% 显著。
【隐式】这个数字要成立,必须先接受一个前提:原始研究是『在显著结果里挑出来的样本』。而 p<0.05 是一个选择阈值——被它筛中的观测,其效应量必然高于真实值(winner’s curse / 赢家诅咒)。选择越严(功效越低),向上偏差越大。
【细微】把偏差量化:一项双侧 α=0.05、统计功效 0.5 的研究,一旦达到显著,其观测效应量的期望值约为真实值的 1.4 倍(近似);功效 0.2 时放大更狠。心理学中位功效约 0.35(Bakker 等 2012),神经科学约 0.2(Button 等 2013)。也就是说,原始效应量在发表那一刻就已经被系统性地高估了。
【极难发现】复现研究通常按『原始观测效应量』来算样本量——但原始观测值本身是膨胀的。于是复现研究对『真实效应』其实功效不足,复现失败的一部分不是『原发现是假的』,而是『复现研究按一个虚高的靶子配了枪』。这是两层回归均值叠加:原始值向上偏,复现值向真值回落,中间还夹着复现自身的功效不足。
【流程节点链路】起点:研究者只在 p<0.05 时投稿(选择阈值)→ 中间节点①:条件于显著,观测效应量向上偏(winner’s curse,偏差随功效降低而增大)→ 中间节点②:复现研究按这个膨胀的观测值配样本量 → 中间节点③:复现对真实效应功效不足,p<0.05 命中率下降、观测效应量向真值回归 → 终点:即使原发现全为真,『复现率≈一半、效应量≈一半』也是可预期的算术结果,而非危机的证据。
【显式·反方】这不是说复现危机不存在。OSC 2015 里也有原始研究无法用任何统计假象解释的失败;p-curve、z-curve 分析显示很多领域的真实发现率确实偏低。我要攻击的是『36% 这个数字本身能诊断失灵』这一推论——它不能,因为它没扣掉选择偏差。
【隐式·反方】更麻烦的是:复现研究自身也有发表偏差——失败的复现更容易被发出来,成功的复现被当成『没新闻』。这叫 replication bias,它会把复现率进一步压低。所以你看到的 36%,是『选择偏差 + 复现偏差』两把剪刀一起剪出来的。
【细微·反方】『开放科学改革』的度量也在被 open-washing:预注册可以写得足够模糊,以至于不约束任何分析自由度;开放数据可以只放清洗后的汇总表。把『有没有预注册』当质量指标,和把『p<0.05』当真理,是同一种错误——用一个可被满足的形式替代了不可被形式化的实质。
【极难发现·反方】真正反直觉的一点:如果复现率被选择偏差主导,那么『提高复现率』最有效的办法可能不是改革科学,而是——降低发表阈值、让更多小效应被发出来,从而减少赢家诅咒的放大倍数。这与『提高标准』的改革直觉正好相反。
【结论】OSC 2015 教给我们的,不是『心理学坏了』,而是『用复现率当质量指标,需要先扣掉选择偏差这个基线』。一个没有基线的指标,和一个没有对照组的实验一样,什么也证明不了。
【值得辩论的问题】如果『复现率≈50%』在纯统计意义上是可预期的,那么复现运动到底在测量什么——是科学的可靠性,还是我们自己的选择规则?以及:一个领域应该追求『高复现率』,还是追求『可被证伪且被诚实报告的低复现率』?







0 Comments