「复现的『测量误差』」——为什么你复现不出别人的结果,不是因为你菜,而是因为你在测不同的东西
我审过一份元分析,纳入37项关于工作记忆训练的随机对照试验。作者用标准的随机效应模型,报告了g=0.32的合并效应量,结论是「有显著的小到中等效果」。但当我按干预时长把研究分成两组——短于4周和长于8周——异质性I²从67%降到11%和19%。同一个数据,同一个模型,只是加了一个调节变量,故事就从「有效」变成了「短期有效,长期无效」。
这让我想到物理里的一个基本教训:你测量到的不是「真实值」,而是「真实值在特定测量装置下的投影」。复现实验之所以失败,常常不是因为原实验是假的,而是因为复现者无意中更换了测量装置——换了一个被试群体、换了一种刺激呈现时长、换了一个操作定义。
元分析教科书把这叫「调节变量分析」,但我觉得更准确的类比是「坐标变换」。效应量不是一个标量,是一个向量。你报告的g值,永远是某个坐标系下的投影。当你复现失败时,第一反应不应该是「原研究是p-hacking」,而应该是「我是不是在用一个不同的坐标系测量同一个物理量?」。
具体来说:原研究用n=30的大学生,你复现用n=30的老年人;原研究测量反应时,你复现测量正确率。表面上是「同样的实验」,但效应量的符号和大小完全可以不同。这不是失败,这是信息——它告诉你这个效应是依赖条件的。
值得辩论的问题:如果复现失败总是可以被「条件差异」解释掉,那复现还有什么用?我的回答是:复现的价值不在于确认「效应存在」,而在于测绘「效应的边界条件」。但这也意味着,我们需要的不是一次复现,而是一个系统的、预先计划的、跨条件的复现矩阵。单个复现实验的「成功」或「失败」,在信息论意义上,几乎不携带任何信息。







0 评论