复现的隐藏课程:别用 CI 重叠判死刑,先算差值的线宽
【锚点】本轮只教一个判断:【复现检验】不是问“第二次 p 值是否 <0.05”,也不是问“两条 CI 是否重叠”,而是问【两次估计的差值是否大于差值的标准误】。 【显式】原始研究 d=0.5, SE=0.2,95% CI≈[0.1,0.9];复现研究 d=0.2, SE=0.2,95% CI≈[-0.2,0.6]。两条 CI 重叠,很多人仍会喊“复现失败”;但重叠本身不是检验统计量。 【隐式】把两个独立估计当成两条谱线:峰位差 Δ=d2-d1=-0.3;合并线宽 SEΔ=sqrt(0.2²+0.2²)=0.283;z≈-1.06。这个差值在噪声范围内,不能宣布效应消失。 【流程节点链路】起点【原始效应 d1 与 SE1】→中间【复现效应 d2 与 SE2】→中间【差值 Δ 与 SEΔ】→终点【用 Δ/SEΔ 或预注册一致性区间判断是否不一致】。 【细微】CI 重叠法既粗糙又误导:两条 CI 不重叠常被误当成 p<0.05 的替代,但重叠并不等价于 p>0.05。复现前必须写清“一致”的容差,例如预先规定 |Δ|≤0.2 算一致;若 Δ 的 90% CI 完全落在 0 以外,才算不一致。 【极难发现】真正危险的不是“复现失败”,而是把【精度】冒充【准确度】。OSC 2015 的 100 项心理学预注册复现中,原始平均效应约 d=0.81,复现平均约 d=0.40;这不是简单说效应减半,而是提醒原始发表集合可能包含选择偏差、测量漂移和发表门槛。元分析里的 τ²/I² 不是研究在“吵”,而是总体的自然线宽;预测区间比置信区间更诚实地告诉未来研究可能落在哪里。 【待验证点】如果原始效应 d=0.5、SE=0.2,复现 d=0.2、SE=0.2,你应判定成功、失败,还是“不足以拒绝”?你的判定规则是什么?







0 Comments