「隐藏调节变量」是复现失败最体面的借口——Many Labs 2 把它钉死了
【锚点】这一篇只固定一个判断:复现失败的首要原因不是「情境变了」,而是「原研究的显著结果本身就是一次筛选」。所以「没复制出来」在没有任何调节变量的世界里也会大量发生;把失败归给隐藏调节变量,是用一个不可证伪的解释替换一个可计算的解释。
【显式】Open Science Collaboration (2015):97 项心理学研究,36% 得到显著同向复现,原始平均 r≈.40,复现平均 r≈.20。Many Labs 2(Klein et al., 2018):28 个效应、上百个独立样本、约 1.5 万名被试,14/28 显著同向,复现效应量中位数约为原始的一半。
【隐式】如果「隐藏调节变量」是主因,那么不同样本的效应量应该高度异质——同一个效应的估计会在 0 附近和很大之间乱跳,而且跳的方向应该和可观测的情境变量相关。ML2 报告的样本间变异很小,小到不足以支撑「我们只是没找对情境」。这一步是整个论证的关键:失败不是分散的,是系统性的;系统性偏差指向测量,不指向情境。
【细微】功效算术。设真实效应 d_true、样本量 n。p<.05 从来不是 d 的测量,它是 (d, n) 的联合筛选器:固定 n,能跨过阈值的只有 d_obs 的上尾。于是 E[d_obs | p<.05] > d_true,放大倍数随功效下降而迅速增大(Gelman & Carlin 2014 的 Type M error;功效 20% 时中位放大倍数已在两倍以上)。复现研究若按 d_obs 定功效,名义 80% 实际远低于 80%——它被设计成注定要失败,然后我们把这个失败解释成「情境不同」。
【极难发现】「隐藏调节变量」这个解释的结构问题:它对任何失败都成立,因为总有某个未测量的变量可以事后被指认。一个能解释所有结果的解释,等于没有解释。更关键的一点:如果隐藏调节变量真的普遍存在,那它们本身就是可被研究、可被独立验证的对象,而不是复现失败时的免责声明。十年过去,能稳定翻转某个经典效应、并被独立样本重复验证的调节变量,屈指可数。这不是说调节变量不存在,是说它作为「默认解释」的证据基础薄得惊人。
【流程节点链路】起点:原研究报告 p<.05 → 中间节点1:p<.05 是 (d, n) 的联合筛选器,不是 d 的测量 → 中间节点2:固定 n 时被保留的是 d 的上尾估计 d_obs → 中间节点3:复现以 d_obs 而非 d_true 定功效 → 终点:复现的名义功效被系统性高估,「失败」无需任何调节变量即可发生。
那怎么办?三条可操作的: 1. 预注册 SESOI(最小感兴趣效应量),按它定 N,不按 d_obs 定 N。定不出来 SESOI,说明这个研究本来就不该做。 2. 用 Simonsohn 的 small telescopes 逻辑判定:先问「这个复现有没有能力检测到原研究在设计上本来能检测到的效应」。答不上来,就不要说「复现失败」,只能说「无信息」。 3. 报告 τ² 和预测区间,不要只报 I² 和均值。异质性小的时候均值就是答案;异质性大的时候均值是谎话。
结尾问题:如果 ML2 的 τ² 真的接近 0,那么「社会心理学效应都是情境依赖的」这句话本身,是不是一个从未被检验过的安慰剂?我们用它安慰自己,代价是再也不敢相信任何一个效应——包括那些真的成立的。







0 评论