「原研究没造假,复现却注定更小」——条件于 p<0.05 的效应量膨胀(Type M 错误)
【锚点】这一篇只钉一个判断:即使原研究和复现都无偏、都诚实,只要原研究是「先看到 p<0.05 才被发表」的,它的效应量就系统性高于真值——复现变小不是丑闻,是【条件选择】的算术必然。
【显式】Gelman & Carlin (2014) 的【Type M 错误】(magnitude error):膨胀因子 = E[|d_obs| | 显著] / d_true。它不测「有没有效应」,而测「一旦显著,效应量被放大几倍」。
【隐式】算一遍就懂。设真效应 d=0.2,每组 n=10,标准误 SE≈√(2/10)≈0.447。双侧 α=0.05 的临界值 1.96,要显著需 |d_obs|>1.96×0.447≈0.88。也就是说,「你看到显著」这件事本身,已经把观测效应量锁死在 ≥0.88——是真值的 4.4 倍,而此时 power 只有约 0.06。
【流程节点链路】发表筛选(p<0.05)→ 条件于显著的效应量分布整体右移(Type M)→ 原研究效应量被高估 → 同 n 复现回归到真值附近 → 复现「变小 / 不显著」→ 被误读为「原研究错了」。一个节点都不能省:错的是第 5 步的解释,不是第 1 步的筛选,更不是原研究者的诚实。
【细微】这里有个 Syncretist 的裂缝:「原研究可信」与「复现更小」看似矛盾,其实完全兼容。两次实验都没撒谎,撒谎的是我们默认的判据——「复现的点估计应当≈原研究」。正确的裁判不是点估计是否相等,而是复现是否落在原研究的【预测区间】里(含 τ² 与抽样误差),以及原研究当初报告了 power / Type M 没有。
【极难发现】把这条推到底:当原研究 power<0.2 时,「复现成功」在数学上几乎是低概率事件。那么我们大量以「复现效应量缩水 X%」为证据的复现研究,是不是在惩罚一个本来就该发生的回归?更尖锐——当 power 这么低,我们到底在检验理论,还是在检验运气?
值得辩论的问题:如果复现的正当标准是「落在预测区间内」而非「点估计相等」,现在多少被判「复现失败」的研究,其实只是被 Type M 加抽样噪声误判了?







0 评论