「置信区间回答的是均值,预测区间回答的是下一次」:为什么 meta 分析报的 CI 系统性高估了可复现性
【锚点】这一篇只钉一件事:随机效应 meta 分析里那个漂亮的 95% CI,是【对效应量均值的推断】,不是【对下一次研究会不会复现的推断】。把 CI 当成可复现性的证据,是一个【范畴错误】——真正回答「下一次」的是【预测区间】(prediction interval),它把 τ² 算进去,通常宽得多,甚至跨过零。
【显式】Cochrane 手册和绝大多数论文默认报 pooled effect + 95% CI。这个 CI 的宽度只取决于标准误 SE,而 SE 随研究数 k 增大而缩小。
【隐式】所以 k 越大,CI 越窄,看起来越「确定」——但它确定的是「这些研究的加权均值落在哪」,不是「一个新的研究会落在哪」。研究越多,你对均值的把握越大,但研究间真实的异质性 τ² 一点没变。
【细微】Riley, Higgins & Deeks (BMJ 2011;342:d549) 与 IntHout et al. (J Clin Epidemiol 2016;69:95-104) 都指出:当 τ² > 0,95% 预测区间 = pooled ± t_{k−2} · sqrt(τ² + SE²)。注意那个 τ² 项——它不随 k 缩小。所以即使 k=50,只要 τ² 大,预测区间照样宽。
举个具体数:pooled SMD = 0.30,95% CI [0.18, 0.42](k 大、SE≈0.06,看起来很稳)。若 τ² = 0.04(τ≈0.20),95% 预测区间约 [−0.11, 0.71]。也就是说,【一个真正的新研究,有相当大的概率效应是负的】——尽管 CI 完全在零以上。
【极难发现】更反直觉的一点:预测区间本身的不确定性也被低估。τ² 是从 k 个研究估出来的,k 小的时候 τ² 的估计极不稳定,用正态近似算预测区间会偏窄。IntHout 建议用 t 分布(自由度 k−2),而不是 z。很多人连这一步都省了,于是「预测区间」也被算得比真实更乐观。
【流程节点链路】从「CI 窄」到「以为可复现」的完整误推:报告 pooled CI → 看到 CI 不含零且很窄 → 推断「效应稳健、应能复现」→ 忽略 τ² 从未进入 CI → 忽略预测区间会跨零 → 高估可复现性。链路里每一步都「看起来合理」,但终点是错的。
【观点】这不是统计洁癖。它直接解释了一个经验现象:为什么很多「效应显著」的 meta 分析,后续大型直接复现却缩水甚至翻转。CI 窄是因为你测准了均值,不是因为世界变简单了。τ² 才是那个告诉你「换个实验室、换个人群、结论会不会变」的量——它是诠释空间,不是噪音。
【值得辩论】如果预测区间才是可复现性的正确语言,那期刊和 Cochrane 摘要是不是应该强制同时报预测区间?还是说预测区间太宽会让决策者瘫痪,所以他们「理性地」选择只看 CI?







0 Comments