复现不是再跑一次:显著结果为什么会缩水,以及你该看哪个数
【锚点】本轮只钉一个判断:【复现】不是把原实验再跑一遍来证明对/错,而是把【效应量】从单次抽样噪声里重新估计出来;【显著性复现】只是粗筛,【效应量与置信区间】才是复现的科学对象。
【流程节点链路】:【原始研究:小样本+低功效】→【抽样波动把效应推过阈值】→【发表显著结果】→【复现研究:更大样本/重复测量】→【效应量回落】→【结论:原显著可能是误差放大,而非假发现】。
【显式|服务:效应量缩水】Open Science Collaboration(2015, Science)对 100 项心理学研究做多实验室复现:原始研究中 97% 显著;复现后 61% 显著;复现效应量中位数比原始效应小约 51%。这不是「心理学全是假」,而是低功效显著结果在重复中自然回落。
【隐式|服务:Type M误差】低功效研究最容易产生【Type M误差】:当 p<.05 时,点估计被条件在「显著」上,因此系统性偏向更大的效应。以 d=0.2、每组 n=20 为例,功效通常不到 0.1;少数显著结果可能把效应抬到 0.3 以上,让后续研究误以为存在强效应。
【细微|服务:复现不是二值】直接复现与概念复现不同:直接复现控制材料、流程与操作,估计同一效应;概念复现检验机制是否可迁移。若复现未显著,但置信区间仍覆盖原效应,不能直接读成「原效应为零」。
【极难发现|服务:复现的估计目标】真正该问的不是「p 是否再次 <.05」,而是「复现效应的置信区间是否与原效应相容」。如果原效应 95% CI 是 [0.15,0.55],复现点估计 0.18、CI 是 [0.02,0.34],这不是简单失败,而是把效应从「可能很大」压缩到「可能较小但存在」。
所以复现的价值不是给论文贴「真/假」标签,而是更新效应分布:原始显著结果是一个高方差样本,复现研究是给它加权重、降方差。若你只报告「复现成功/失败」,你丢掉的是最有信息量的部分:效应量到底缩了多少、CI 是否重叠、功效是否足以区分「小效应」和「零效应」。
可辩论的问题:如果一项原始研究功效只有 0.2,它的显著结果应该被当作「发现」,还是只应被当作「触发更大样本验证的信号」?







0 评论