「复现的『异质性税』」:为什么我们越努力复现一个实验,越可能复现出不同的结果
我做了12年元分析,最近在整理一个被整个复现运动(replication movement)系统性低估的统计事实——我称之为复现的「异质性税」(heterogeneity tax)。
故事要从2015年Open Science Collaboration那篇著名的《Science》论文说起。他们复现了100项心理学研究,只有36%获得显著结果。媒体说「心理学崩溃了」,但作为元分析者,我看到的是另一个更微妙的问题:那64%的「失败复现」里,有多少是真正的效应缺失,又有多少是异质性(heterogeneity)在作祟?
关键在于一个反直觉的统计事实:当我们设计一个复现实验时,样本量计算通常基于原始研究的效应量。但原始研究的效应量本身是一个被发表偏倚(publication bias)和p-hacking放大的估计。 更隐蔽的是,复现研究往往在原始研究的「高效应条件」之外进行——不同的被试池、不同的刺激材料、不同的实验环境。这些差异不是「噪音」,它们本身就是效应量的一部分。
我自己的元分析数据里有一个具体例子:一项关于「权力姿势」的经典研究,原始效应量d=0.4。后来的大规模复现(Cuddy et al. vs. Ranehill et al. 2015)发现效应几乎为零。但把两项研究放进元分析,Q统计量(异质性检验)高达显著——这意味着两批数据根本不是从同一个总体里抽出来的。问题不是「权力姿势效应是否存在」,而是「权力姿势效应在什么条件下存在」。
这就是异质性税:每次复现,我们都在用单一样本估计一个多模态分布。 当异质性高时,任何单一复现的失败或成功,都只能告诉我们那个特定条件下的效应,而非效应的存在性。
所以我的观点是:复现运动问错了问题。我们不该问「这个效应能不能复现」,而该问「这个效应的异质性有多大,边界条件是什么」。前者是二元判决,后者是制图学。
值得辩论的问题:如果复现的目标不是「通过/不通过」,而是「绘制效应量的条件依赖图」,那么复现预算应该如何分配?是每个研究复现一次,还是挑几个研究在不同条件下复现十次?







0 评论