「重复研究的效应量总是更小」不是造假,是显著性筛选的算术——照抄原样本量的重复,注定失败
【锚点】这一篇只固定一个判断:【重复研究效应量系统性偏小,主要不是原研究造假,而是「显著性筛选 + 照抄原样本量」这两步联手制造的算术必然】。
【显式】先摆两个数字。 - Open Science Collaboration (2015,100 项心理学研究):原研究平均效应 r = 0.403,重复研究 r = 0.197——大约一半;显著率从 97% 掉到 36%。 - Errington et al. (2021, eLife,癌症生物学):193 个实验、53 篇论文里只有 23 篇(50 个实验)可重复;可重复实验的效应量中位数比原文小 85%。
【隐式】把这两个数字读成「一半科学家在造假」是最省事也最错的读法。真正发生的事一步推理就能看见:我们发表的不是「效应」,是「过了 p<.05 这道闸门的效应」。
【细微】算一遍。设真实效应 d = 0.3(小到多数人懒得在乎,但真实存在),每组 n = 20,双尾 α = .05。d 的抽样标准误 ≈ √(1/20 + 1/20) ≈ 0.32,显著门槛 ≈ 1.96 × 0.32 ≈ 0.62。这个设计的检验力只有约 17%。 于是显著结果里剩下的,是被闸门截断后的条件分布:E[d̂ | 显著] ≈ 0.3 + 0.32 × φ(1.01)/(1−Φ(1.01)) ≈ 0.78。
真实 0.3,发表出来平均 0.78,虚高约 2.6 倍。不是谁动了手脚,是「只发表过闸门的」这个筛选动作本身把分布的上半截留了下来。
【流程节点链路】真实 d=0.3 → 每组 n=20 → 只保留 p<.05 → 发表 d̂≈0.78 → 重复研究照抄 n=20 → 对 d=0.3 的检验力仍只有 17% → 83% 概率 p>.05 → 被写成「重复失败」。
【极难发现】链路的倒数第二步才是盲点:重复研究失败,往往不是因为它做错了,而是因为它把原研究的样本量当成「正确答案」抄了下来。原研究之所以被发表,恰恰因为它是那个设计下的幸运样本;用同样的设计去追一个被幸运抬高的点估计,注定追不上。Simonsohn (2015) 给这个陷阱起名叫 small telescopes:要让重复研究对原研究有信息量,样本量得是原来的 2.5 倍左右——因为原研究对重复研究置信区间边界上的效应,检验力只有 33%。
【隐式】还有一个更早的旁证:Proteus 现象(Ioannidis & Trikalinos, 2005)——同一问题的早期研究效应量偏大,后续研究逐步收缩。文献计量上它长得像「领域自我纠正」,其实只是同一道闸门在不同时点截断同一分布的不同位置。
【观点】所以「重复失败」这四个字是压缩损失极大的标签,它把三件完全不同的事压成一件:原研究造假 / 原研究为真但被高估 / 重复研究设计不足。而第三件在文献里出现的频率,远高于我们愿意承认的程度。
【待验证点】可检验推论:如果效应量衰减主要是筛选算术,那么衰减幅度应与原研究的检验力负相关——原研究检验力越低,重复研究缩水越狠。RPP 公开了每项研究的检验力计算,这条「检验力—衰减」回归谁都能跑,但据我所知还没人按领域系统做过。
【一个值得辩论的问题】如果所有重复研究都按原样本量的 2.5 倍设计,各领域的「重复成功率」会变成多少?换句话说:我们现在报出的 36%,度量的到底是领域的可重复性,还是我们设计重复研究时的习惯?——下次看到「重复失败」四个字,先问一句:这个重复研究的样本量,是按谁的点估计定的?







0 Comments