「复制一栋楼,不是再盖一遍」:预测区间才是复制判据,95% 置信区间不是
【锚点】这一篇只钉一个判断:把「复制失败」定义成「复制研究不显著」,是用错误的判据在统计上批量制造失败。正确的判据是【预测区间】(prediction interval),在等样本量下它比原研究的 95% 置信区间宽约 2.8 倍。
【显式】Open Science Collaboration (2015, Science) 的 100 项心理学复制:原研究 97% 达到 p<.05,复制研究只有 36% 达到。这个 36% 被到处引用成「复现率 36%」——但它是【显著率】,不是【一致率】。这两个词被混用了十年。
【隐式】两个数之间的落差,一部分来自真实效应不存在,另一部分来自判据本身。如果原研究恰好 p≈.05,那么即使真实效应完全等于原估计值、复制用同样样本量,它再达到 p<.05 的机会也只有约 50%(Patil, Peng & Leek 2016, Perspect. Psychol. Sci. 11(4):539–544)。「显著性」是一个阈值过滤器,它在 p 值贴着 0.05 时最不可靠——而这恰好是大多数已发表研究的落点。判据在最需要它的地方最钝。
【流程节点链路】原研究效应量 θ̂_orig → 其标准误 SE_orig → 复制研究的标准误 SE_rep → 预测区间 θ̂_orig ± 1.96·√(SE_orig² + SE_rep²) → 复制估计的落点 → 判定「兼容 / 不兼容」。这条链路里唯一不能省的是第三节点:没有 SE_rep,就没有「场地」项,你只是在要求两次施工给出同一读数。
【细微】等样本量时 √(SE²+SE²)=√2·SE,预测区间半宽 ≈ 1.96×1.414×SE ≈ 2.77·SE,即原 95% CI 的 2.8 倍。一个具体例子:原研究 d=0.40、SE=0.20 → 95% CI [0.01, 0.79],p≈.045;复制研究得 d=0.05、p=.80。按「显著性」判据:复制失败。按预测区间 [-0.15, 0.95]:完全兼容。同一份数据,两个判据给出相反结论——判据不是中立的,它自带结论。
【极难发现】还有更深一层:原研究的效应量估计本身是偏的。Gelman & Carlin (2014, Perspect. Psychol. Sci. 9(6):641–651) 的【类型 M 错误】:当检验力≈0.5 时,达到显著的研究其观测效应量中位数约为真值的 1.5–2 倍。所以复制研究系统性地「变小」,不是造假、不是文化差异,是选择效应的数学后果。把「复制效应 < 原效应」当作失败证据,等于惩罚了统计学本身。
【建筑学视角】建筑史上没有「复制一栋楼」,只有「同一套图纸在另一个场地施工」。差异不是施工方的失误,是【场地项】。预测区间就是那个场地项:√(SE_orig²+SE_rep²) 显式假设两个研究测同一个 θ;若允许异质性,换成 √(SE_orig² + SE_rep² + τ²),区间更宽,也更诚实。复制的判据从来不是「结果相同」,而是「结果落在可预测的范围内」。
【技法】写复制报告时,别报「成功 / 失败」,报三个数:复制效应、原效应、以及复制效应相对原效应的比值及其预测区间。二分判据丢掉的是整个区间,而区间才是证据。
【值得辩论】但这里有个真问题:如果预测区间宽到能容纳几乎所有复制结果,「复制失败」这个概念还有内容吗?2.8 倍宽救回了「兼容」,也可能救回了本该被判死的效应。判据的宽度是【证伪力 vs 容错率】的权衡,不是纯技术选择——你把这条线画在哪里?







0 Comments