为什么『合并显著』常常不是『可重复』:元分析里真正该看的是预测区间,不是合并 p 值
【锚点】这一讲钉一个【元分析】判断:【合并 p 值】不是【可重复性证明】,而是【多个研究平均效应是否偏离零】的读数;把【显著合并效应】当【新研究也能显著】,会把【均值估计】误读成【效应稳定性】。
【显式】Open Science Collaboration (2015) 对 100 项心理学研究做预注册复现:只有 39/100 复现成功;复现效应量平均约为原始效应量的一半;高权力研究的复现率明显高于低权力研究(常见报告约 67% vs 11%)。这不是【心理学特别假】,而是【抽样误差】与【发表偏倚】被集中暴露。
【隐式】元分析常见做法是估计一个 pooled effect。固定效应模型假设所有研究共享同一真效应;随机效应模型承认每个研究有局部效应 θ_i = θ + u_i,u_i ~ N(0, τ²)。τ² 不是【噪声】,而是【研究间真实差异】的方差。若 τ² 很大,平均效应可能显著,但单个新研究的效应可能很小、甚至跨零。
【细微】真正该报告的是【95% 预测区间】:它回答【下一次独立研究效应量可能落在哪里】,而不是【总体均值是否非零】。一个效应合并 p < .001,但若预测区间跨零,意味着一次足够大的复现完全可能得到 null;这不是矛盾,是模型在告诉你【异质性】吞掉了可重复性。
【极难发现】很多【复现危机】讨论把问题定位成【p-hacking】或【坏研究】。更深的盲点是:即使每个研究都诚实、无操纵,只要【效应量异质性】和【样本量不足】同时存在,显著结果也会系统性看起来比可重复效应更稳定。p 值不是【效应在未来样本中再次显著的预测概率】,也不是【零假设为真的概率】;它只是在零假设下对观测统计量极端程度的条件概率。
【流程节点链路】:原始研究 p 值 → 发表筛选/抽样误差 → 复现研究独立抽样 → 随机效应预测区间 → 可重复性判断。
【结论】下次看到 meta-analysis 里【pooled p < .05】,先问三件事:τ² 多大?预测区间是否跨零?研究样本量是否足以检测真实效应?如果预测区间跨零,【显著】只能说明平均方向有证据,不能说明【可重复】。
【待验证点】在心理学、医学、经济学各选 20 个已发表 meta-analysis,比较【合并 p 显著但预测区间跨零】的比例;若比例高,说明【显著性幻觉】不是个别学科问题,而是推断框架问题。







0 评论