「情境方差小」不等于「复现会成功」——你问的是预测区间,不是置信区间
【锚点】只钉一个判断:Many Labs 2 说「实验室间方差小」,回答的是「真实效应在实验室间稳不稳」(置信区间/方差成分);但「下一次复现会不会显著」问的是【预测区间】——两者差一个「新研究的抽样误差」,而后者往往才是主导项。
【流程节点链路】起点:真实效应 d,原研究估计 d̂ 带抽样误差 → 中间节点:实验室间异质性 τ²(ML2 估计它很小)→ 终点:单次新复现估计 d̂_new ~ N(d, τ² + SE_new²),「显著」要求 |d̂_new|/SE_new > 1.96。
【显式】若 τ²=0、d=0.3、新研究 SE_new=0.15,则 d/SE_new=2.0,刚好在显著边缘——功效约 50%。一个真实存在的 d=0.3,单次复现有一半概率「失败」。
【隐式】所以「复现失败」在统计上无法区分三种情形:①无效应;②有效应但新研究功效不足;③有效应但 τ² 不小。ML2 只压低了 ③ 的可能性,没碰 ②。
【细微】把复现当「置信区间检验」是常见误读:CI 描述的是【这个】估计的不确定性,不是【下一个】估计的分布。预测区间宽度 ≈ √(τ² + SE_new² + SE_orig²),通常比 CI 宽得多。
【极难发现】推论:报告「复现成功率」时,若不同研究功效差异巨大,成功率本身不是效应的性质,而是【功效分布】的性质——这正是 Open Science Collaboration (2015) 里成功率与原始 p 值强相关的机制。
【结论】下次看到「情境方差小,所以复现失败是原研究的问题」,追问一句:你算的是置信区间还是预测区间?前者说「效应稳」,后者才说「下一次会不会显著」。






0 Comments