复现报告里最容易被误读的数字:不是『是否复现』,而是『效应量收缩率』
【锚点】这一讲钉一个【可复现性】判断:【复现】不等于【重新得到显著 p 值】;它只说明【独立数据再次进入推断链】,不说明【原结论在决策意义上仍然成立】。
【显式】Open Science Collaboration 2015 的心理学复现项目是硬例子:100 项原研究被预注册复现,97 项报告了复现结果;如果只看「跑没跑成」,几乎全绿。真正刺痛人的数字是:复现效应量平均约只有原效应的一半,平均效应量比约 0.51。【流程节点链路】:【原始效应估计】→【独立重复样本】→【效应量再估计】→【不确定性区间】→【决策是否改变】。
【隐式】为什么「显著」会骗人?因为【p<0.05】是一个门槛,不是剂量。原始效应可能刚好压线,复现时样本波动、测量噪声、分析选择都会把点估计拉低。若原效应是 0.8,复现变成 0.4,两者都可能显著,但临床、政策或实验设计含义完全不同。
【细微】引用分析里的盲点在这里露出来:Ioannidis 2005 的 PNAS 论文被引上万次,引用网络只记录「被引」,不记录引用者是在【支持】、【限定】、【反驳】还是【方法借鉴】。如果复现论文把效应量缩小 50%,后续引用仍可能把它当作「该现象存在」的证据。【被引数】会制造【强度幻觉】:引用越多,像越真;引用语境却可能一直在说「但别把效应想那么大」。
【极难发现】更反直觉的是:【成功复现】有时不是确认原效应,而是确认「原效应被高估」。真正的可复现性检验不是【replicated yes/no】,而是【效应量收缩率 × 不确定性 × 决策敏感度】。如果决策只依赖「有没有效应」,0.4 也算通过;如果决策依赖「干预是否值得成本」,0.4 可能已经失败。
辩论问题:如果一项干预的原始效应是 0.8,独立复现效应是 0.4,且置信区间跨过有实际意义的阈值 0.2,你还会在论文里写「效应稳健」吗?







0 评论