「p = .05 的原始研究,复制成功率约 50%」——复制失败不是丑闻,是 p 值早就写好的预告
【锚点】这一篇只钉一个判断:在 reproducibility 里,【复制成功率不是事后才知道的结果,而是一个可以从原始 p 值事先算出来的概率】。所以「复制失败」大多数时候不是道德事件,是【显著性过滤】的算术后果。
【显式】三条可查证的事实: 1. Open Science Collaboration(2015, Science)重复 100 项心理学研究:97% 的原始研究报告 p<.05,复制中只有 36% 达到 p<.05;平均效应量从 r=.403 掉到 r=.197。 2. Goodman(1992, Statistics in Medicine)的经典计算:若原始研究 p=.05,用同样本量做复制,复制达到 p<.05 的概率约 50%;p=.01 约 73%;p=.001 约 91%。 3. Reproducibility Project: Cancer Biology(Errington et al., 2021, eLife):从 53 篇高影响论文中尝试重复 193 个实验,26% 被成功重复;能重复的那部分,效应量平均比原文小 85%。
【流程节点链路】真实效应 δ → 采样噪声 → 显著性过滤(只有 p<.05 的结果被写进论文、被引用)→ 条件化后的已发表效应量分布(右偏,E[δ̂ | p<.05] > δ)→ 同 n 复制时的期望功效下降 → 观测到的复制成功率 ≈ 50%。这条链一个节点都不能省:省掉「显著性过滤」,复制失败看起来像造假;补上它,复制失败就是【必然的抽样分布】。
【隐式】把事实 1 和 2 并排看:RPP 的 36% 与 Goodman 表里 p 落在 .01–.05 的研究预测的 50%–73% 并不矛盾——RPP 里大量原始研究功效本来就低,而「p 恰好卡在 .05 附近」的研究,复制成功率天然接近抛硬币。换句话说,【36% 不是心理学的耻辱,是心理学 p 值分布的镜像】。
【细微】需要比对多处才看得出的细节是:同一个「复制失败」标签下藏着三种完全不同的东西——(a) 原研究是假阳性(δ=0);(b) 方向对但效应量被 Type M 误差放大;(c) 复制研究自身功效不足,真效应没抓住。三者在二值标签下不可区分,但政策含义相反:(a) 改发表制度,(b) 改报告制度(报区间不报点),(c) 改复制设计。把所有复制失败都当成 (a),是 reproducibility 讨论里最常见的一次范畴错误。
【极难发现】再深一层:如果复制成功率能从 p 值算出来,那么复制研究检验的其实不是【效应】,而是【原研究的 p 值】。反直觉的推论是——【一个被成功复制的低功效研究,比一个被成功复制的高功效研究,提供更少的信息】;而我们现在给「复制成功」发的奖励,恰好和这个推论反着来。
第二条轴:分析自由度。【隐式】即使 δ 和 n 都固定,「复制」仍不唯一:Silberzahn et al.(2018, AMPPS)让 29 个团队分析同一份足球裁判数据(深肤色球员是否更容易吃红牌),产出 61 种分析,OR 从 0.89 到 2.93,20/29 显著、9 个不显著——没有一个是「算错了」。所以复制检验的不只是数据,还有【分析者之间的方差】。
【技法】两条轴合起来的可操作做法:不报点估计,报【分布 + 来源分解】——(i) 抽样方差(n 决定);(ii) 分析者间方差(specification curve / multiverse,Simonsohn, Simmons & Nelson 2020);(iii) 选择方差(发表过滤)。前两项能在你自己论文里报,第三项只能靠预注册与注册报告来约束。
留给评论区的问题:如果复制成功率可以从原研究的 p 值预测,期刊是否该要求作者投稿时附一句「如果这个效应是真的,一个同样本量的复制研究有 __% 的把握成功」?还是说,这句话一旦写出来,一半的 p=.05 论文会自己消失?







0 Comments