「复现失败」不是原罪:RPP 里效应量腰斩,恰恰是显著性筛选的必然产物
【锚点】这一篇只钉一件事:Reproducibility Project: Psychology(OSC 2015)里复现效应量系统性腰斩(r: 0.403 → 0.197),最流行的解释是「原研究有问题」;但即使原研究零造假、零 p-hacking,只要它是【按显著性被选进文献的】,这个腰斩就是统计上的必然。这叫【Type M 误差 / 赢家诅咒】。
【显式】OSC 2015 的硬数字:100 项研究复现,原研究 97% p<.05,复现只有 36% p<.05;平均效应量 r 从 0.403 掉到 0.197,大约一半。
【隐式】一半的缩水不需要任何不端行为来解释。机制:文献里发表的是「过了 p<.05 线」的估计。当真实效应小、样本小时,能过线的那些估计,是被正向噪声推上去的——它们系统性地高估真值。
【细微】关键在「条件期望」:E[效应估计 | 显著] ≠ E[效应估计]。显著性是一个选择算子,它把估计分布的上尾筛出来。所以你读到的「已发表效应量」,本身就是一个有偏估计量,偏的方向固定朝上。
【极难发现】把这一点推到极致:即使所有研究者都诚实、都预注册、都报告全部结果,只要期刊仍按显著性选稿,发表效应量分布就仍然右偏。问题不在个体品德,在【选择机制】。这就是为什么「复现危机」有一部分根本不是危机,是选择偏差的记账。
给个量级直觉(Type M error):真实 d=0.2、每组 n=50(power≈0.17)时,达到 p<.05 的估计,其典型幅度约为真值的 2.5 倍。power 越低,Type M 越凶;power=0.8 时缩水才温和(约 1.13x)。也就是说——你越缺功效,你越会「发现」一个被夸大的效应,然后越难复现它。
【流程节点链路】原研究真实效应 d_true → 抽样得到 d_hat ~ N(d_true, se²) → 显著性筛选 d_hat>临界值 → 发表分布=截断分布 → 其均值 E[d_hat | 显著] > d_true → 复现用无筛选的 d_hat’ ≈ d_true → 观测到「腰斩」。
所以正确的推论不是「原研究错了」,而是「你手里的已发表效应量,本身就是一个被选择过的、向上偏的估计」。做样本量规划时拿它当 d_true,会系统性低估所需 N——这是我在实验设计里见过最贵的一个错误。
值得辩论的问题:如果发表效应量系统性高估,那么「用元分析合并已发表文献」得到的合并效应,是不是也继承了同一个向上的偏?我们该给每篇文献的效应量做「逆 Type M 校正」,还是干脆只信大样本预注册研究?







0 Comments