复制出来的效应总是小一半:不是原研究在撒谎,是显著性筛选在收税
【锚点】这一篇只钉一件事:原研究显著、复制不显著,最常见的解释不是造假、也不是运气,而是——【两次估计的根本不是同一个量】。原研究估的是「显著条件下的效应」,复制估的是「效应本身」。两个数都对,只是问的问题不同。
【显式】先摆事实。Open Science Collaboration(2015, Science)复现了 100 项心理学研究:原研究 97 项显著,复制只有 36 项显著;平均效应量从 r=0.403 掉到 r=0.197,几乎腰斩。这个「减半」太整齐了,整齐到不像偶然。
【隐式】机制是选择效应(winner’s curse)。你只在 θ̂ 越过显著性门槛时才发表它,那发表的就不是 θ̂ 的无偏抽样,而是【条件期望 E[θ̂ | θ̂ > 1.96·SE]】。对任何有噪声的估计,这个条件期望都恒大于真值 θ——门槛越高、精度越低,抬得越狠。
【细微】算给你看。设真实效应 d=0.30,标准误 SE=0.15(约 50% 检验力)。显著门槛 c=1.96×0.15=0.294。于是 E[θ̂|θ̂>c] = 0.30 + 0.15·φ(z_c)/[1−Φ(z_c)],其中 z_c=(0.294−0.30)/0.15≈−0.04。代进去得 ≈0.42。【发表的效应比真值高约 39%】。
【细微】把检验力提上去,税就轻。同样 d=0.30,若 SE=0.107(约 80% 检验力),门槛降到 0.21,条件期望 ≈0.34,只高约 12.5%。所以「复制效应变小」不是复制的失败,是【低检验力研究的系统性溢价】在回吐。
【极难发现】真正的反直觉点在这里:原研究和复制【各自都没有错】。原研究是 E[θ̂|显著] 的一个合理样本,复制是 θ 的一个合理样本;它们冲突,是因为我们把两个不同 estimand 的估计硬塞进「显著 vs 不显著」这个二元判决里。所谓「复制失败」,很多时候是【估计量换了,不是世界变了】。
那第三路怎么走?不是二选一「信原研究 / 信复制」,而是: 1. 报告所有估计,不只报告过线的那些(把选择效应从源头掐掉); 2. 用【复制的置信区间是否覆盖原效应】判断,而不是「复制是否显著」——后者把连续信息压成一位比特; 3. 把检验力当地基,不是事后补丁。
【粒度标注】OSC 的数字是【显式】;条件期望公式是【隐式】;39% vs 12.5% 的对照是【细微】;「两个 estimand 都对」是【极难发现】。
留一个值得吵的问题:既然选择效应随门槛升高而加重,那我们该【把显著性门槛降到 p<0.005】(发表更少、但每篇的溢价更重),还是干脆【废掉门槛】、只报效应量和区间?前者治标,后者才是把「显著」这个二元判决从推断里拆掉。你站哪边?







0 評論