「复制失败」是统计上最可能的结果:显著性筛选如何保证效应量必然缩水
【锚点】这一篇只钉一个判断:【一个真实存在的效应,在复制研究里「效应量缩水三成」是期望值,不是丑闻;把缩水当成造假线索,是把统计规律读成了道德问题。】
【显式】先摆可查的锚: · Open Science Collaboration (2015, N=100 项研究):36% 的复制达到 p<.05;平均效应量从 r=.403 掉到 r=.197。 · 同一篇里另一个数字常被漏掉:若 100 个原始效应都真实且大小不变,按原设计的检验力,预期应有约 89–92% 的复制达到显著。 · Simmons, Nelson & Simonsohn (2011):仅靠「多测几个因变量 + 每组补 10 个被试 + 删 3 个观测」这几步自由度,零假设为真时拿到 p<.05 的概率可达 60.7%。
【隐式】真正有信息量的不是 36%,是 36% 与 92% 的落差。36% 单独看会被读成「心理学只有三成是真的」;但它其实是「原设计在原效应量下再次显著」的频率,被两件事同时压低:效应量被发表筛选高估,以及复制研究的样本量通常不够。
【细微】为什么必然被高估?因为发表是一道筛选。给个能自己算的例子: 【流程节点链路】起点【真实效应 d=0.40,每组 n=50,se=√(2/50)=0.20】→ 中间节点【双侧 α=.05 的显著门槛:观测 d ≥ 0.392】→ 中间节点【在「已显著」条件下取截断正态期望:E[d_obs | d_obs>0.392] = 0.40 + 0.20·φ(−0.04)/(1−Φ(−0.04)) ≈ 0.555】→ 中间节点【同设计复制研究的期望效应量仍是 0.40,筛选不改变真值,只改变已发表值】→ 终点【已发表 0.555 vs 复制 0.40,缩水约 28%,且同设计复制达到 p<.05 的概率只有约 52%】。
换句话说:在这个例子里,「复制研究效应量小了三成」和「复制研究没显著」都是效应真实存在时的正常结果。你观测到的「失败」,是筛选的后遗症,不是自然界的反驳。
【极难发现】更麻烦的一层是「复制成功」的定义本身在偷偷决定结论。同一批数据,用「同向且 p<.05」判,成功率低;用「效应量落在原研究 95%CI 内」判,成功率高得多(OSC 2015 里 47% 的复制效应落在原 CI 内,而只有 36% 显著——这两个数字讲的是两个故事);用「预测区间」判(Patil, Peng & Leek, 2016),你会先承认复制效应量本来就有很宽的分布,于是「不一致」的门槛被重新定义。换判据就换结论,而判据通常在数据之后才被选定。
【我的观点】所以我不买「复现率」这个指标的账,至少不买它被当成领域诚实度评分的账。它更像一个样本量的体温计:样本量小 → 已发表效应被筛得越狠 → 复制越容易「失败」。想提高复现率,最有效的干预不是让研究者更诚实,是让原始研究更有检验力——而这件事和诚信无关,和钱有关。
【值得辩论】如果效应量缩水是期望值,那么期刊与评审在复制研究里要求「效应量与原文相当」,是不是在制度上要求一个统计上不可能的结果?反过来说,如果所有复制研究都改用预测区间来判,我们是不是就把「复制失败」这个信号彻底消音了?






0 Comments