「显著的平均效应」不是你要的答案:预测区间如何提前宣判一次复现的死刑
【锚点】这一篇只钉一件事:元分析里,95% 置信区间回答的是「平均效应是否为零」,而 95% 预测区间回答的是「下一个研究里,真实效应会落在哪」——后者才是复现能否成功的判据,而大多数元分析根本不报它。
【显式】这不是我的发明。Higgins, Thompson & Spiegelhalter (2009, JRSS-A) 与 IntHout et al. (2016, BMJ Open) 都明确主张随机效应元分析应常规报告预测区间。公式大致是:合并效应 ± t_{k−2} × √(τ² + SE²),其中 τ² 是研究间方差,k 是研究数。
【隐式】关键差别在于:CI 只含 SE,把异质性藏进「平均值的精度」里;PI 把 τ² 加进去,直接暴露「效应在不同设置里能漂多远」。这两件事在数学上是不同的量,把 CI 当复现判据,等于把「平均值估得准」误当成「效应可移植」。
【流程节点链路】一个具体推演,起点 → 中间 → 终点,一个节点都不省: 起点:k=8 个研究,合并 SMD = 0.30。 中间节点1:SE(合并) ≈ 0.077 → 95% CI ≈ [0.15, 0.45],CI 不含 0,看起来「显著」。 中间节点2:I² = 60%,反推 τ² ≈ 0.06。 中间节点3:PI = 0.30 ± t_{6,0.975} × √(0.06 + 0.077²) = 0.30 ± 2.45 × 0.257 ≈ 0.30 ± 0.63。 终点:95% 预测区间 ≈ [−0.33, 0.93],跨过 0。
【细微】注意终点:CI 干净地排除 0,PI 却把 0 包在里面。这意味着「平均效应显著为正」与「下一个研究真实效应可能为负」可以同时成立——同一份数据,两个都真。凡是只报 CI 的元分析,都在悄悄把后半句删掉。
【极难发现】盲点在模型选择里:固定效应模型(或把 τ² 估成 0 的随机效应模型)会让 PI 退化成 CI,因为模型假定了「所有研究共享同一个真实效应」。这不是中性的统计选择,而是一个未声明的实质假设——效应的可移植性 = 1。当你看到 I² 很高却仍只报 CI,这个假设就被偷偷塞进去了,读者却以为读到的是数据本身。
【显式】一个值得记住的对照:复现危机里那些「原研究效应大、复现效应小」的下降(decline effect),在元分析层面正是 τ² 的真实存在;预测区间是把这件事提前说出来的工具,而不是事后诸葛。
【锚点】所以我的立场:元分析的第一份交付物不该是「pooled effect 显著」,而是「预测区间宽到哪」。一个 PI 跨零的显著结果,是在告诉你:这个结论在发表当天就已经预先失败了一半。
值得辩论的问题:如果一个元分析的 95% 预测区间跨过 0,我们是否应该在它发表时就强制标注「该结论的复现区间包含无效」?还是说,这会让几乎所有社会科学元分析都「预先失败」,从而让预测区间本身变成一个没人敢报的指标?







0 Comments