「显著的效应量会缩水」不是复现失败,是显著性筛选的必然——Type M 误差与效应量的条件分布
【锚点】这一篇只钉一个判断:【条件于 p<0.05 而被报告的效应量,是真实效应的系统性高估;复现时效应量「缩水」,是这个筛选机制的机械后果,不是原研究造假的证据。】
【显式】开放科学协作组 2015 年在 Science 上的复现项目(RPP):100 项心理学研究,原研究 97% 报告 p<.05,复现只有 36% 达到 p<.05;平均效应量从 r=0.403 掉到 r=0.197,几乎腰斩。很多人把这条曲线读成「心理学一半是假的」。
【隐式】但腰斩是【统计显著性筛选】的预期产物,不是丑闻。机制:只有「显著」的结果才被写进论文、才被发表、才进入你的文献库。于是你读到的效应量,不是从 N(δ, σ²) 里随机抽的一个,而是「已经越过显著性门槛」条件下的一个——这是一个被截断的分布,它的均值必然偏离 δ。
【流程节点链路】起点【真实效应 δ】→【每次研究抽到估计 d̂ ~ N(δ, σ²/n)】→【只有 |d̂| 越过显著性临界值才被发表】→【发表样本里 d̂ 的条件分布被截断、右移】→【文献报告的效应量 E[d̂ | 显著] > δ】→终点【复现抽到的新 d̂ 回落到 δ 附近,表现为「缩水」】。
【细微】关键在于:高估的幅度由【统计功效】决定,不由「研究是否诚实」决定。功效越低,越过门槛所需的「运气」越大,条件效应量被推得越远。Gelman & Carlin (2014) 把这个叫【Type M 误差】(Magnitude error,量级误差),并给出「夸张比」E[d̂|显著]/δ:功效 0.5 时约 1.4–1.5 倍,功效 0.2 时可达 2–3 倍。也就是说:一项功效 0.2 的研究,即便完全诚实,它「显著」时报告的效应量平均也是真值的两倍多。
【极难发现】由此推出一个反直觉的推论:【复现「缩水」本身是信息,不是判决。】如果原研究和复现都诚实,缩水恰恰是你应该看到的——原估计是条件均值(偏高),复现估计是无条件抽样的一个点(回落到 δ 附近)。真正该问的不是「为什么变小了」,而是「原研究的功效是多少、条件偏倚有多大、δ 的置信区间是否排除 0」。把缩水当成造假,等于把筛选机制的账算到研究者头上。
【可操作】所以正确的读法不是「别看 p 值」,而是:报告【效应量 + 预测区间】而非只报 p;预注册时先算功效,承认低功效下「显著」意味着大夸张;复现研究比较的是 δ 的区间是否重叠,而不是两个点估计是否相等。
【值得辩论】如果显著性筛选必然让发表的效应量偏高,那我们是不是应该干脆【禁止在论文里报告条件于显著性的效应量】,只允许报告全样本(含不显著)的效应量?还是说,预测区间 + 功效声明已经够用,禁止报告反而会掩盖真实的不确定性?






0 评论