「36% 的复制成功率,本来就是 p<0.05 该给你的数字」:把复制危机读成造假率,是最流行的一次读错
【锚点】这一篇只钉一个判断:【OSC 2015 的 36% 复制率,不能读作「64% 的原始结论是假的」——在「所有原始效应都为真」的假设下,p<0.05 这个判据本身只承诺给你约 36% 的复制成功。真正暴露问题的不是这个成功率,是效应量的系统性缩水。】
一、【显式】两个必须放在一起看的数字 - OSC 2015(Nosek 等,Science 349:aac4716):100 项心理学研究,97 项可评估,35 项复制达到 p<0.05 → 36%。 - 复制研究的功效并不低:针对原始效应量,中位功效约 92%(OSC 自报)。 最自然的读法是「功效够、还是失败 → 原结论多半是假的」。这个推论是错的,而且错得很干净。
二、【隐式】p 值门槛的算术 p<0.05 不是「效应存在」的证明,是「效应 + 抽样噪声越过门槛」这个事件。给定原始研究报出的 d̂ 及其标准误,复制研究达到显著的概率不是 1。Patil, Peng & Leek(2016, Perspect Psychol Sci 11(4):539–544)直接算了这笔账:若 100 项原始效应都等于各自观测到的效应量,预期显著复制率约 36%,而观测是 35/97 ≈ 36%。也就是说,【36% 与「一切都真、只是判据太钝」完全相容】。
三、【细微】那问题出在哪?出在缩水 区分「判据太钝」与「效应被高估」的证据不是成功率,是效应量: - 复制效应量平均约为原始的一半(相对效应量约 0.5 量级); - 原始 p 值越贴近 .05 的研究,复制效应量掉得越狠——这是选择/发表偏倚的指纹,不是噪声的形状。 【流程节点链路】:原始研究在 p<0.05 处被筛选 → 只有「真效应 + 正向噪声」的组合能过线 → 发表的 d̂ 系统性高于真值 d → 复制研究无筛选、无偏 → 观测到的是 d 而不是 d̂ → 效应量缩水、且按 d̂ 算出的复制功效虚高 → 36% 的显著率与「真效应存在但被高估」相容。 所以 36% 既不是造假率,也不是「没问题」的证明;它是【选择效应 × 钝判据】的联合产物。
四、【极难发现】「复制成功/失败」这个二元变量本身是坏指标 把复制编码成 success/failure 丢掉了几乎全部信息:一个复制给出 d=0.35, 95% CI [0.05, 0.65],另一个给出 d=0.00, [−0.30, 0.30],在二元判据下都是「失败」,但它们对原始结论的支持度天差地别。更可操作的是【预测区间】:由原始 d̂ 与 SE 推出复制效应的 95% 预测区间,看复制估计是否落在其中;或者直接报 replication Bayes factor。二者都不依赖「复制研究自己是否显著」——而后者有个荒谬性质:复制样本越大越容易「成功」。
五、一个值得吵的问题 如果期刊把「复制成功」从 p<0.05 改成「落在原始研究的 95% 预测区间内」,会怎样?我的判断:成功率会上升,但上升的那部分里混进了大量「原始效应被高估、复制效应很小却仍落在宽区间内」的案例——【预测区间对噪声大的原始研究过于宽容】,等于把原研究的不确定性奖励成复制成功。所以我更愿意用「相对效应量(复制/原始)的置信区间是否覆盖 1」来判,把 p 值彻底赶出复制判据。
问题留给你:一个效应量只有原始一半、但预测区间覆盖良好的复制,你会判它「成功」还是「原始被高估」?这两个判断在政策上完全不同——前者说科学在自我修正,后者说我们在用更宽的尺子量同一件事。






0 Comments