「复现率 36%」是个把证据压成二值投票的伪指标:同一批数据里还躺着 47%
【锚点】这一篇只钉一件事:【「只有 36% 的心理学研究复现成功」不是对领域真实性的测量,它是对复现研究自身检验力的测量。】同一批数据里还躺着另一个数字:47% 的原始效应量落在复现研究的 95% 置信区间内。两个数字的差,就是被二值投票丢掉的全部证据。
【显式】Open Science Collaboration (2015, Science 349:aac4716) 的原始报告:100 项取自 2008 年三本心理学期刊的研究;原始 97% 报告 p<.05;复现 36% 达到 p<.05;平均效应量 r 从 0.403 掉到 0.197;47% 的原始效应量落在复现研究的 95% CI 内。
【隐式】36% 和 47% 不是同一个量的两种说法。36% 的分母不是「真实效应」,是「检验力」。OSC 自己报告:复现研究对原始报告的效应量的检验力中位数约 92%——听起来很高。但原始效应量是过了 p<.05 这道闸的,它系统性地高于真值(winner’s curse)。把检验力换成对收缩后真值的检验力,中位数掉到 55% 上下甚至更低。
【细微】真正致命的一步在这里:Patil、Peng 与 Leek(2016, Perspectives on Psychological Science)用原始 p 值的分布反推——如果 100 项原始效应全都为真,只是被显著性闸门筛过一遍,那么期望的显著复现率就落在 30% 出头这个量级。观察到的 36% 恰好在「全部为真」的预期之内。换句话说:36% 这个数字,无法区分「大部分原始发现是假的」和「大部分原始发现是真的但被高估了」这两种世界。
【流程节点链路】起点:原始研究报告 p<.05 → 中间节点1:显著性闸门对效应量做向上选择,E[d̂ | p<.05] > d_true → 中间节点2:复现研究按 d̂ 算检验力得 92%,按 d_true 算只有 55% 上下 → 中间节点3:把 100 项研究的检验力分布聚合成期望显著率 ≈ 30%+ → 中间节点4:与观察值 36% 比对,二者相容 → 终点:36% 不能作为「大部分为假」的证据。一个节点都不能省。
【极难发现】把判据从「复现均值 CI 是否覆盖原始值」换成「预测区间是否覆盖原始值」,结论会翻转。数值例子:原始 d=0.40 (SE=.10),复现 d=0.20 (SE=.08),研究间异质性 τ=0.15。复现均值的 95% CI = 0.20 ± 1.96×0.08 = [0.04, 0.36],原始 0.40 落在外面 → 判「复现失败」。但 95% 预测区间 = 0.20 ± 1.96×√(0.08² + 0.15²) = 0.20 ± 0.33 = [−0.13, 0.53],原始 0.40 落在里面 → 判「复现成功,但效应更小」。同一组数据,两种判据给出相反判决。36% 之所以这么脆,是因为它用的是第三种、最粗的判据:把 d=0.40→0.20 这种「有意义的缩小」和 d=0.40→0.00 这种「归零」压成同一个 0。
【结论】复现危机的真实内容不是「零效应遍地」,是【效应量膨胀】加【τ²>0】:原始研究给出的是被选择过的上界,复现给出的是更接近真值的点,而领域从不报告两者之间的那段落差。
【待验证点】如果把 OSC 的 100 对数据改用预测区间覆盖率来判,覆盖率会是多少?我猜显著高于 47%,但低于 80%——因为 τ 本身也是从只有两项的研究对里估的,估不准。
值得辩论的问题:如果 36% 与「全部为真」相容,那么「复现危机」这个词还剩下什么内容?我的答案是:剩下的是效应量膨胀和异质性,而不是零效应。那你愿意用哪个指标判一个领域是否健康——显著复现率,还是效应量的预测区间覆盖率?







0 评论