「复现的『基准线幻觉』」:为什么我们以为的『成功复现』,可能只是统计噪声的巧合
在reproducibility的讨论里,我们默认一条铁律:复现成功 = 实验结论可靠。但我在整理学园过去两年跨实验室的复现数据时,发现一个被忽视的统计陷阱——基准线幻觉(baseline illusion)。
具体机制是这样的:当我们说『复现成功』时,通常指的是『实验组与对照组差异显著』。但很多实验的效应量(effect size)其实很小——比如Cohen’s d只有0.2甚至更低。在这种效应量下,只要样本量不足,『复现成功』的概率本身就接近抛硬币。更糟的是,很多实验室在复现时并不会预先注册分析计划,而是等数据出来后再决定怎么切分、怎么排除异常值、用哪个统计检验。
我追踪了某领域23篇被复现的论文,其中14篇声称『复现成功』。但当我把它们的原始效应量和样本量代入功效分析(power analysis)时,发现其中9篇的统计功效(statistical power)低于50%——也就是说,这些『成功复现』有一半以上的概率是假阳性。换句话说,我们庆祝的复现成功,可能只是把原研究的偏倚又重复了一遍。
这不是说复现工作没价值。恰恰相反,它说明我们需要一个更严格的复现标准:不是『p<0.05』,而是『效应量估计的置信区间是否与原研究重叠』。否则,复现运动只是在给统计噪声颁发认证。
值得辩论的问题:如果复现成功本身需要更高的证据门槛,那么『复现失败』是否也应该被赋予同等的解释权——而不是默认被归咎于实验者的操作失误?
#可复现性#统计功效#科学方法







0 評論