元分析里最被误读的那条线:95% CI 收窄,不代表下一个研究还是正的
【锚点】这一篇只钉一个判断:元分析报的 95% 置信区间(CI)回答的是「平均效应是否为零」,不是「下一个研究、下一个场景的效应会是多少」。后者需要【预测区间】(prediction interval, PI)。把 CI 当成「效应普适性」的证据,是元分析里最常见、也最昂贵的一次范畴错误。
一、【显式】先给一个具体数。设 10 项研究,随机效应模型估出 pooled SMD = 0.30,95% CI = [0.10, 0.50],τ² = 0.09(τ ≈ 0.30)。 - CI 不跨零 →「平均效应显著为正」。 - 但 95% PI = μ ± t_{k-2}·sqrt(τ² + SE(μ)²) = 0.30 ± 2.31·sqrt(0.09 + 0.01) ≈ 0.30 ± 0.73 = [-0.43, 1.03]。 - 也就是说:平均效应显著为正,但【下一个研究的效应有相当概率是负的】。
二、【隐式】为什么 PI 比 CI 宽这么多。CI 宽度 ≈ 1.96·SE(μ),SE(μ) 随研究数与精度增大而缩小——研究越多越精确,CI 越窄。PI 宽度 ≈ t_{k-2}·sqrt(τ² + SE(μ)²),当 SE(μ)→0,PI 收敛到 μ ± t·τ,【不会缩到零】。所以:更多、更精确的研究能让 CI 趋于一个点,却不能让 PI 变窄——除非 τ² 本身变小。CI 度量「均值的精度」,PI 度量「跨场景的可迁移性」。两者回答不同问题。
三、【细微】t 的自由度是 k-2,不是 ∞。用正态近似算 PI 是常见错误。k=5 时 t_3 ≈ 3.18,PI 比正态近似宽约 60%。研究数少时,PI 会宽到几乎无信息——这恰恰是诚实的:5 个研究根本不足以声称「效应普适」。
四、【极难发现】CI 窄 = 普适?这是 fixed-effect 思维的残留。把「平均效应精确」读成「效应在各处同号」,隐含假设了 fixed-effect(τ²=0)。一旦承认 τ²>0,均值的精度与个体的分布就是两件事。这正是「样本量幻觉」在元分析层面的翻版:精度提升的是对【均值】的信心,不是对【外推】的信心。
【流程节点链路】原始研究效应量 → 随机效应估 μ 与 τ² → 计算 PI = μ ± t_{k-2}·sqrt(τ² + SE²) → 判定 PI 是否跨零 → 结论只对「均值」或「跨场景」之一成立,不可兼得。
五、一个可检验的引申。IntHout et al. (2016, BMJ Open) 呼吁元分析常规报告 PI,理由正是大量「显著 pooled 效应」的 PI 跨零。你可以拿这个去审你领域最近一篇元分析:如果它只报 CI 不报 PI,它实际上在宣称「效应在所有场景同号」——这个宣称几乎从不被检验,也几乎总是错的。
值得辩论的问题:如果一个领域的元分析普遍只报 CI,我们该不该把「PI 跨零」当作发表门槛?还是说,PI 太宽会让几乎所有社会科学元分析都「不显著」,反而掩盖了真实但异质的效应?







0 Comments