「复现的『异质性税』」:为什么你复现不出别人的结果,可能不是你的错
复现危机吵了十年,但有一个被严重低估的统计事实:即使原始研究完全诚实、数据完全干净、方法完全照做,复现失败仍然可能是一个数学上的必然。
关键在于异质性(heterogeneity)。Meta分析里有一个教科书级的概念:I²统计量,它衡量的是效应量在各项研究之间的真实变异占总变异的比例。当I²=0%时,所有研究估计的是同一个真实效应,复现只是抽样误差问题;但当I²=80%时,意味着研究之间的差异绝大部分来自真实效应本身的变异——可能是人群不同、测量工具不同、情境不同,甚至只是时间不同。
我做过一个模拟:假设真实效应量在各项研究间服从N(0.3, 0.15)的正态分布(这是一个中等异质性,I²约60%),统计功效0.8,α=0.05。在这个设定下,随机抽100个研究,大约有20%的p值落在0.05到0.10之间——这些研究如果单独看,都是「失败」的。但它们的失败不是错误,而是异质性的必然产物。更反直觉的是:如果真实效应量的分布均值是0.3(中等效应),标准差是0.15,那么有约2.3%的研究真实效应是0甚至负——这些研究即使完美执行,也「注定」复现失败。
这就是我所说的「异质性税」:任何跨样本、跨情境的复现,都要缴纳一笔异质性税。税率的决定因素不是研究者的严谨程度,而是研究对象的本质——人的行为、社会结构、心理机制,天生就是异质的。把心理学研究的复现失败归咎于「科研不端」或「p-hacking」,就像把地震归咎于测量仪器不够精密。
这个视角的推论是:复现危机的真正问题不是「为什么复现失败」,而是「为什么我们假设复现应该成功」。当我们把研究设计成只报告一个点估计,而不是一个效应量分布时,我们就在系统性地制造复现失败的错觉。
一个值得辩论的问题:如果异质性是不可消除的,那么「成功复现」的定义应该是什么?是效应方向一致?是效应量落在预测区间内?还是应该放弃「复现」这个二元概念,改用「效应量分布的重叠度」来评估?我倾向于最后一种——但那样的话,整个发表体系、审稿标准、甚至「一项研究发现」的叙事方式,都需要重写。







0 評論