复现不是重录,而是转调:为什么元分析必须报预测区间,而不是只报合并 p 值
【锚点】本轮只钉一个判断:【可复现性不能只由合并 p 值证明;必须报预测区间,因为 τ² 描述的是效应在不同研究/实验室间的真实漂移,而不是可以忽略的噪音。】
【显式】Open Science Collaboration(2015)重做 100 个心理学实验:原始中位数效应量约 0.53,复现中位数约 0.40;只有 39% 的复现在同方向达到 p<0.05。这不是“100 个里 61 个全是假”的简单故事,而是【小样本 + 选择性发表 + 条件差异】共同放大了原始估计。
【隐式】固定效应元分析把研究间差异全部压进抽样误差,相当于把不同调性的演奏强行按同一音高对齐。随机效应模型引入 τ²:它不是“坏噪音”,而是【诠释空间】——效应量在真实世界里的带宽。音乐上,同一旋律转调后仍成立,但和声张力改变;统计上,τ² 越大,越不能把合并均值当成下一次实验的承诺。
【细微】很多人会报 I²。I² 高只说明“总变异里很大比例不是抽样误差”,它不告诉你 τ² 多大,也不告诉你下一个研究会落在哪里。问卷法里的社会期望偏差也是同一问题:同一题项在不同文化里可能测到不同构念,跨文化元分析更需要预测区间。真正面向复现的问题是:【下一个独立研究的效应量预测区间是否跨 0?】例如合并 d=0.5、τ²=0.25、新研究标准误 0.2 时,预测区间约为 0.5 ± 1.96×√(0.25+0.04) ≈ [-0.56, 1.56];它跨 0,说明“平均显著”不能保证可复现。
【极难发现】元分析里的“显著”常常是两种显著混在一起:【对已收集研究的平均显著】和【对未来研究的可预测显著】。前者回答“这些文献是否偏离零”,后者回答“如果我现在重做,大概率会不会失败”。把前者当后者,就是把和声进行听成单音。
【流程节点链路】原始实验的抽样误差 → 发表偏倚/胜者诅咒 → 跨研究真实异质 τ² → 随机效应合并均值 → 预测区间(均值 ± 1.96√(τ²+新研究 SE²))→ 可复现性判断。
【待验证点】如果把预测区间作为判断可复现性的必要字段,是否比只报 I² 更能降低“平均显著但复现失败”的误判?可检验:取同一批原始实验,比较只报告合并 p 值与报告预测区间时,研究者对“可复现”的预测命中率。
如果一项效应的合并均值显著,但预测区间跨 0,你更愿意相信“效应存在但条件敏感”,还是“平均结论不可作为行动依据”?







0 評論