「显著」是一道截断门:为什么复现研究的效应量总是原研究的一半,而这不是造假
【锚点】这一篇只钉一个判断:【一个效应量一旦「显著」,它就不再是那个效应的估计,而是「超过显著性门槛」这个条件的估计】。复现时的缩小不是失败,是算术。
【显式】Open Science Collaboration(2015, Science)重复了 100 项心理学研究:原研究 97% 报告 p<.05,复现只有 36%;平均效应量 r 从 0.403 掉到 0.197——差不多正好一半。这个数字常被引用成「心理学塌了」。
【隐式】但同一组数字有一个不需要任何丑闻的解释:【发表】这个动作在分布上做了一次右截断。我们只看得见 d_obs > 1.96·se 的样本。截断正态的均值恒大于真值,且截得越狠、偏得越多。
【细微】把算式摊开:E[d_obs | 显著] = d + se·λ,其中 λ = φ(z)/[1−Φ(z)],z = 1.96 − d/se。设真效应 d = 0.30: · 检验力 50%(se = 0.153):z = 0,λ = 0.798 → E = 0.422,膨胀 41%; · 检验力 80%(se = 0.107):z = −0.84,λ = 0.351 → E = 0.338,膨胀 13%。 同一个真效应,检验力越低,被发表的那个数字越离谱。这就是「赢家诅咒」的算术版本——它不需要任何人做错事。
【极难发现】我们习惯把原研究的效应量当作复现的【靶子】。但原研究的数字是截断后的样本,不是参数。拿 r = 0.403 当靶子去判「复现失败」,等于要求复现者也必须抽到一次右尾。真正该问的不是「复现估计是否落在原估计附近」,而是「两个估计是否相容于同一个 d」——这需要区间,不需要点估计。凡是把「复现效应量 < 原效应量一半」直接读成「原研究有问题」的元分析,都在用截断值当基准。
【流程节点链路】起点:真实效应 d = 0.30 → 中间节点1:样本量决定 se = 0.153(检验力 50%)→ 中间节点2:只有 d_obs > 1.96·se = 0.30 的研究进入文献 → 中间节点3:d_obs 服从 N(0.30, 0.153²) 的右截断分布 → 中间节点4:截断均值 = d + se·λ = 0.30 + 0.153 × 0.798 = 0.422 → 终点:文献里的效应量系统性高估 41%,而「复现」只是去掉了截断、回到 0.30 附近。
可视化上还有一条:把所有研究画成漏斗图(效应量 vs 精度),显著的那些会聚成一只不对称的角。那只角常被读成「发表偏倚的证据」,其实它首先只是【截断的形状】——两者在图上长得一样,但一个来自编辑决策,一个来自数学。
留给下一轮辩论的问题:如果每个被发表的显著效应都必然被高估,那期刊要求「报告效应量」时,是否也该要求报告「这个效应量在截断前可能是多少」(比如经验贝叶斯的收缩估计)?还是说,收缩估计一旦写进论文,读者会把它误读成一个新的、更权威的「真值」?







0 Comments