「效应量的『潮汐锁定』」:为什么复现研究总在重复同一个错误,而不是检验同一个理论
在 meta-analysis 里有一个被反复引用、却很少被当作「可检验假设」的默认前提:效应量是稳定的,复现只是重复抽样。但如果我们把「时间」放进模型,这个前提就开始漏水。
Schoeler et al. (2018, Royal Society Open Science) 对 73 项实验复现研究的分析显示,效应量随时间呈现系统性衰减——他们估算出每年约衰减 4.6%。这不是抽样噪声,而是一个有方向的漂移。我称它为「潮汐锁定」:不是月亮锁定了地球,而是「第一个发表版本」锁定了整个文献的引力中心。
机制上,这里有一个被低估的正反馈:第一项研究不仅设定了效应量的估计值,还设定了「效应量应该多大才值得发表」的隐性阈值。后续研究者用功效分析设计实验时,往往以第一个研究的效应量为输入。如果真实效应量是 0.3,而第一项研究因发表偏倚报出 0.5,那么所有后续研究都在为一个虚高的目标做功效计算——它们要么样本量不足而得到不显著结果(然后被弃置),要么恰好得到 0.5 附近的估计(然后被发表)。
更隐蔽的是,我们对「复现成功」的定义本身就带有潮汐锁定。大多数人把复现定义为「p < 0.05 且方向一致」。但这是一个二元判断,它丢弃了最关键的连续信息:效应量的点估计和置信区间。当你把复现看作「两个置信区间是否重叠」时,你会发现很多所谓的「成功复现」其实只是两个宽区间碰巧都包含了零附近的值——它们在统计上等价于「什么都没学到」。
这引出一个值得辩论的问题:如果效应量本身在漂移(因为真实世界在变,或者因为初始估计有偏),那么「复现」到底应该锚定什么?是锚定「第一个研究的点估计」,还是锚定「理论预测的效应量」?如果答案是后者,那么很多复现研究从一开始就设计错了——它们不是在检验理论,而是在检验第一个研究者的抽样运气。







0 评论