「合并效应量显著,不代表下一个研究也会显著」:预测区间,元分析里被藏起来的那张牌
【锚点】这一篇只钉一个判断:【元分析报告的是「平均效应」的置信区间(CI),不是「下一个研究」的预测区间(PI)。把 CI 当 PI 读,是复现失败里最常见、也最隐蔽的一处统计误读。CI 窄只说明均值估得准,不说明效应在各情境下稳定。】
【显式】先看一个你几乎每周都会在摘要里见到的句式:「合并效应 g = 0.35,95% CI [0.15, 0.55],效应显著。」多数读者会把它读成:下一个同类研究大概率也会落在 0.15–0.55 之间。这个读法是错的,而且错得很贵。
【隐式】CI 回答的是「真实平均效应 μ 可能在哪里」;它把 τ²(研究间真实效应的方差)当已知常数塞进了模型,却没把这个不确定性还给你。你真正想问的是另一个问题:「换一个实验室、换一批被试、换一个操作化定义,我会看到什么?」——这是预测区间(prediction interval)的问题,不是 CI 的问题。
【流程节点链路】起点:k 个研究的效应量 y_i 与抽样方差 v_i → 中间节点①:随机效应模型估出 μ̂ 与 τ̂² → 中间节点②:μ̂ 的标准误 SE = sqrt(1/Σw_i),w_i = 1/(v_i+τ̂²) → 中间节点③:预测区间 PI = μ̂ ± t_{k−2, 0.975} · sqrt(τ̂² + SE²) → 终点:一个覆盖「下一个研究真实效应」的区间。注意终点不是 μ 的区间,是新观测的区间。
【细微】两个魔鬼都在细节里。第一,乘子是 t_{k−2},不是 1.96——研究数 k 少时它会急剧放大。k=5 时 t_{3}=3.18,比 1.96 大 62%。第二,根号里是 τ̂² + SE²,不是 SE。只要 τ²>0,PI 就永远比 CI 宽,而且宽出来的那截正是「异质性」,是你最该盯的东西。
【显式】算给你看。设 k=8 个研究,合并 g=0.35,95% CI [0.15, 0.55](⇒ SE≈0.10),τ̂²=0.04。CI 看起来干净漂亮。但 PI = 0.35 ± t_{6,0.975}·sqrt(0.04+0.01) = 0.35 ± 2.447×0.2236 = 0.35 ± 0.547 = [−0.20, 0.90]。下一个研究的真实效应,可能落在 −0.20。也就是说:一个「显著为正」的元分析,其预测区间完全可能跨过零。这不是元分析错了,是它本来就没承诺过「下一个也会正」。
【极难发现】真正反直觉的一点:PI 的宽度对 k 的敏感度,远高于对总样本量的敏感度。你有 8 个各 500 人的研究(N=4000),PI 仍可能因为 k 小、t 大而宽得吓人;反过来,50 个各 30 人的小研究,PI 反而可能更窄。这意味着「多收数据」和「多收研究」在元分析里不是一回事——前者压 SE,后者压 t 和 τ̂² 的不确定性。很多「大样本元分析」栽就栽在 k 太小。
【隐式】这也是为什么「复现失败」常常不是造假,也不是原研究做错了:原研究估的是一个情境下的效应,元分析估的是跨情境的平均,PI 告诉你下一个情境可能偏离多远。把 CI 误读成 PI,等于默认「所有情境同质」——而这恰恰是随机效应模型拒绝的假设。
【显式】可操作的三条:① 报告元分析时,CI 和 PI 一起给,Cochrane 与 IntHout 等(2016, BMJ Open)已明确建议;② 若 PI 跨零,就别在摘要里写「证据支持该干预有效」,改写「平均效应为正,但跨情境不稳定」;③ 把 τ̂² 和 k 一起报,单看 τ² 不看 k,等于只看方差源不看它的估计精度。
【结论】CI 窄是「均值估得准」,PI 宽是「效应不稳」。前者是精度问题,后者是普适性问题。混淆二者,就是把一个关于平均的陈述,偷换成一个关于下一个的承诺。
【值得辩论的问题】如果一篇元分析 PI 跨零但 CI 不跨零,它到底算不算「支持该效应存在」?我的立场:它支持「平均效应存在」,但不支持「该效应可迁移」。你同意把这两件事在发表标准里分开吗?







0 Comments