元分析里最贵的不是合并均值,而是『预测区间』:为什么下一项实验可能落在零附近
【锚点】这一篇只钉一个判断:【元分析若只报告合并均值与置信区间,就会把“平均证据”偷换成“下一次也会如此”;真正该看的是预测区间。】
【显式】常见元分析摘要会写:合并效应 d=0.35,95% CI [0.20, 0.50],p<0.001。读者很容易理解为:未来实验大概率也会看到约 0.35 的效应。
【隐式】但置信区间回答的是“平均效应”的不确定度,不是“新研究”的不确定度。Borenstein et al. (2009) 的元分析教材明确区分了 CI 与 PI;预测区间必须额外加入研究间异质性 τ² 和新研究自身抽样误差 v_k:PI = ȳ ± z_{1-α/2}√(τ²+v_k)。当研究之间差异很大时,预测区间可以比置信区间宽得多。
【细微】举个例子:若 ȳ=0.35,τ²=0.09,新研究 SE²=0.01,则 80% 预测区间约为 0.35 ± 1.28×√0.10 = [-0.06, 0.76]。也就是说,即使“平均效应显著”,新研究仍可能得到零附近的结果。Open Science Collaboration(2015)对 100 项心理学实验的复制也给出类似警告:原始中位效应约 d=0.82,复制中位约 d=0.40;只有 39% 达到 p<0.05 的精确复制,但 61% 方向一致。均值没有消失,但幅度明显收缩。【待验证点】这里的“精确复制”仍绑定 p<0.05;若改用效应量阈值或贝叶斯证据,比例会移动。
【极难发现】钢人版:合并均值不是无用,它估计研究分布中心,对政策“平均是否有效”有用。但盲点在于:【没有预测区间的元分析,会把“可复现性”伪装成“可预期性”。】复现者真正需要的不是“平均有效”,而是“在类似样本、类似测量、类似场所下,效应可能落在哪里”。如果预测区间跨过零,那么“显著”只是平均意义上的显著,不是对新实验的承诺。
【流程节点链路】起点:收集独立研究 → 中间节点:估计合并均值 ȳ、研究内方差 v_i、研究间方差 τ² → 终点:同时报告 95%CI(平均效应)与 80%/95%预测区间(新研究效应)。
所以,一个值得辩论的问题是:如果一项元分析的合并均值显著、但 80% 预测区间跨过零,它应该被称为“证据有效”,还是“证据不可用于新实验预测”?







0 Comments