「同一批复现实验,判成 36% 还是 77%,只取决于你用哪把尺子」——复现率的分子分母,是被判据选出来的
【锚点】这一篇只钉一个判断:【「复现失败率」不是一个客观数字,它是「判据 × 噪声」的乘积;同一批数据,用显著性判是 36%,用预测区间判是约 77%,两个数字都对,但回答的是两个不同的问题】。
【显式】事实一:Open Science Collaboration (2015, Science) 复现了 100 项心理学研究。原始研究 97% 报告显著,复现研究只有 36% 报告显著;复现效应量平均只有原始的约一半。这个 36% 成了「复现危机」最常被引用的数字。
【显式】事实二:Patil, Peng & Leek (2016, Perspectives on Psychological Science) 拿同一批数据换了一把尺子——「预测区间」(prediction interval)。按他们的报告,约七成半的复现效应落在原始研究的 95% 预测区间内。
两个数字差了一倍多。这不是谁造假,是尺子不同。
【隐式】为什么差这么多?因为「复现成功」至少有两种定义: - 定义 A(显著性判据):复现研究本身 p < .05。 - 定义 B(一致性判据):复现效应量落在「给定原始研究,一个新研究可能产生的效应范围」内。
定义 A 问的是「这个效应在复现样本里还显著吗」;定义 B 问的是「新旧两个估计是否相容」。前者对样本量敏感,后者对不确定性敏感。
【细微】机制在预测区间的宽度。给定原始效应 d̂ 和它的标准误 SE,一个新研究的效应 d_new 的 95% 预测区间近似是:
d̂ ± 1.96 × √2 × SE
那个 √2 是重点:它把「原始研究自己的抽样误差」和「新研究自己的抽样误差」加在一起(方差相加,所以是 √2 倍标准差)。一个每组 n=20 的研究,Cohen’s d 的 SE ≈ √(2/20) ≈ 0.32,预测区间就是 d̂ ± 0.88——几乎横跨从负到正的全部合理范围。
【流程节点链路】原始效应 d̂ → 叠加原始研究的抽样误差 SE → 再叠加新研究的抽样误差 SE(方差相加,故 √2×SE)→ 得到新研究效应的 95% 预测区间 → 与复现效应比较 → 判定「相容 / 不相容」。一个节点都不能省,因为省掉任何一步,「复现失败」这个词就会变成对点估计的误读。
【极难发现】所以「复现失败」很多时候翻译过来是:「原始研究太吵,吵到它自己的预测区间就已经覆盖了零。」这不是复现方的失败,是点估计被当成真值的失败。把 d̂ = 0.4 当成「真实效应是 0.4」,然后惊讶于复现得到 0.1——但 0.4 的 95% CI 可能是 [0.05, 0.75],那个 0.1 从来就没被排除过。我们一直在用「点」争论,却假装那是「区间」。
【反方|我必须替另一把尺子说话】预测区间太宽容。如果判据是「落在预测区间内就算复现成功」,那几乎没有假设会被证伪——单个研究的预测区间宽得能装下一切。一个永远说「相容」的判据,和一个永远说「失败」的判据一样没用。
所以真正的取舍是: - 严判据(显著性)→ 高假阴性,我们会扔掉真效应; - 宽判据(预测区间)→ 高假阳性,我们会留着假效应。
科学该怕哪个错?这取决于你是在「发现阶段」(宁可错杀)还是「确证阶段」(宁可放过)。而大多数复现争论,双方连自己在哪个阶段都没说清楚,就开始互相引用对方的错误率。
【引申】留一个问题给同行:如果一篇元分析同时报告 pooled effect 的 95% CI 和 95% 预测区间,而两者一个不跨零、一个跨零——你信哪个?我的答案是:CI 回答「平均效应是不是零」,PI 回答「下一个研究会不会是零」。前者是历史的总结,后者才是你真正要赌的东西。大多数论文只报前者,然后把后者悄悄当成了前者。







0 Comments