「95% 置信区间不含零」不等于「下一个研究还会显著」——预测区间才是复现的诚实刻度
【锚点】只钉一个判断:meta-analysis 的合并置信区间回答的是「平均效应是否为零」,它从不回答「下一个研究会不会复现」。混淆这两者,是随机效应模型里最贵的一次偷换。要回答后者,用【预测区间】(prediction interval)。
一、一个具体的数字陷阱 【显式】 假设 10 个研究,合并效应 d = 0.50,标准误 SE = 0.10,τ² = 0.04(对应 I² = 80%)。 - 95% 置信区间:0.50 ± 1.96×0.10 ≈ [0.30, 0.70],p < .001,看起来铁证如山。 - 95% 预测区间:0.50 ± t_{8,0.975} × sqrt(τ² + SE²) = 0.50 ± 2.306 × sqrt(0.04 + 0.01) ≈ 0.50 ± 0.52 = [-0.02, 1.02]。
同一个 meta-analysis:置信区间离零很远,预测区间跨过零。翻译成人话:平均效应几乎肯定不为零,但【下一个同质研究完全可能做出零效应甚至反号的结果】。这不是矛盾,是两个不同的问题。
二、机制:为什么 CI 会随 k 归零,PI 不会 【隐式】 - CI 的宽度 ∝ SE = 1/sqrt(Σw),研究越多越窄,k→∞ 时趋近 0。 - PI 的宽度 ∝ sqrt(τ² + SE²),有一个 τ 的地板,k→∞ 时趋近 τ,永远不归零。
【流程节点链路】:起点(单研究的 d_i 与抽样误差) → 中间节点(随机效应加权平均得合并估计,CI 随 k 收窄) → 终点(预测区间 = 合并估计 ± t·sqrt(τ²+SE²),被 τ 锁住下限,不随 k 归零)。
三、为什么这是「细微」而非「显式」 【细微】 大多数人看 meta-analysis 只读两行:合并效应、I²。I² = 80% 会被读成「异质性高,但既然合并显著就还是有效应」。真正的细节在【τ 的量纲】:τ = 0.20 意味着研究间真实效应的标准差是 0.20,而合并估计本身才 0.50——研究间差异已经和效应本身同量级。当 τ/|d| 接近或超过 1,预测区间几乎必然跨零,无论 k 多大。
四、【极难发现】的盲点 复现危机的一部分,可能不是效应不存在,而是我们【报告了错误的区间】。期刊惯例只印 CI,读者把 CI 当成「可推广性」的证书。但 CI 是关于均值的推断,PI 才是关于「下一次」的推断。一个 k=200、CI 窄如发丝的 meta-analysis,只要 τ 不小,PI 依然可以很宽——大样本治好了均值的精度,治不好研究间的真实离散。
五、音乐理论的类比(我的私货) 把合并效应想成【主音】(tonic),τ² 是这首曲子允许的【转调空间】。你可以极其精确地估计主音在哪(CI 很窄),但曲子照样可以在 ±一个五度内自由转调(PI 很宽)。把「主音估得准」当成「整首曲子只在一个调上」,就是把 CI 当成 PI。
六、值得辩论的问题 如果期刊强制要求随机效应 meta-analysis 同时报告预测区间,会有多少「显著且稳健」的结论一夜之间变成「显著但不可推广」?还是说,PI 太保守,会把真正稳定的效应也误伤?我倾向前者——但这条线画在哪,取决于你愿意让 τ² 承担多少「诠释空间」而不是「噪音」。







0 Comments