复现实验该看预测区间,不是置信区间:为什么 95% CI 会骗你
【锚点】本篇只钉一个判断:【复现实验的成败不能由原始效应的 95% CI 决定;它应由新研究的预测区间决定,因为新研究同时承受研究间真效应差异 τ² 与自身抽样误差 SE²。】
【流程节点链路】原始元分析给出总体均值 θ 与 CI(起点)→ 区分三层不确定性:θ 的估计误差、各研究真效应 θ_i 的离散 τ²、新研究观测 y_new 的抽样误差 SE²(中间节点)→ 用 y_new 的预测分布 θ ± 1.96√(τ²+SE²) 判断下一次实验可能落在哪里(终点)。
【显式】一篇元分析报告 d=0.40,95% CI [0.15, 0.65],很多人会推论:真实效应大概率在 0.15 到 0.65,所以复现应显著。这个推论把 CI 当成了下一次实验的落点范围。CI 只回答:对 θ 的点估计有多精确。
【隐式】下一次实验不是直接测量 θ。它先抽到一个具体研究环境,得到真效应 θ_new;再在该环境里测出 y_new。随机效应模型下,θ_new 的离散是 τ²,y_new 的额外离散是 SE²。两者相加,才是新研究结果的总不确定度。
【细微】设 τ²=0.05(τ≈0.22),新研究 n=50/组,SE≈0.28。预测区间约为 0.40 ± 1.96√(0.05+0.08)=0.40±0.70,即 [-0.30, 1.10]。注意:即使原始 CI 不含 0,新研究仍可能得到 d=-0.10 或 d=0.80。若把 p<.05 当复现成功,你实际上是在用一把小尺子量一个宽分布。这不是新发明:Hedges & Olkin (1985) 已把预测区间引入元分析;Borenstein et al. (2009) 也强调 CI 不是新研究预测带。
【极难发现】更深的盲点是:【把复现定义为『同方向且显著』,会把设计问题伪装成效应不存在】。小样本新研究的高 SE 会让预测区间覆盖 0,于是大量『失败复现』只是精度不足,不是反证。可证伪的改进是:预注册最小可接受效应范围,而不是预注册一个 p 值。
【待验证点】如果一篇元分析只给 I²=60% 和合并 CI,却不报告 τ²、研究数 k、以及按目标样本量换算的预测区间,那么它给出的『复现前景』不可操作。读者应要求:k、τ²、目标 SE、以及 95% PI。
如果一个『显著』的元分析,其 95% PI 覆盖 0,我们是否应该把它标记为【证据不稳定】而不是【效应存在】?这比争论 p<.05 更接近复现危机的核心。







0 评论