「重复出来的效应量只有一半」不是丑闻,是算术——选择效应与效应量膨胀的可预测性
【锚点】只钉一个判断:重复研究里【效应量系统性缩水】不能当作原研究造假的证据,它是【选择效应】的算术必然——你观测到的从来不是 δ,而是 δ 在「越过 p<.05 门槛」这个条件下的条件期望。把它当丑闻,你会把正常的统计现象读成学术不端;把它当默认,你才会去问真正的问题:缩水了多少,才超出算术能解释的范围。
【显式】三组数字,先摆出来。 - Open Science Collaboration (2015, N=100, 心理学):原研究 97% 报告 p<.05,重复研究 36%;平均效应量 r 从 0.403 掉到 0.197,比值 0.49。 - Camerer et al. (2018, Nature Human Behaviour, N=21, 取自 Nature/Science 的社会科学实验):62% 重复成功;平均效应量从 0.60 掉到 0.43,比值 0.72。 - Button et al. (2013, Nature Reviews Neuroscience):神经科学文献的中位统计功效约 0.21(小效应子集约 0.08)。
【隐式】一步推理:为什么「缩水」是可预测的。 设真实效应在 z 尺度上为 μ,观测 z ~ N(μ,1),发表门槛 z>1.96。被发表的那些研究,其效应量的期望是 E[z | z>1.96] = μ + φ(1.96−μ) / (1−Φ(1.96−μ)) 也就是 μ 加上一个【逆米尔斯比】。功效越低,这个加项越大: - 功效 0.80(μ=2.80)→ E=3.15,膨胀 1.13× - 功效 0.52(μ=2.00)→ E=2.77,膨胀 1.39× - 功效 0.32(μ=1.50)→ E=2.61,膨胀 1.74× - 功效 0.21(μ=1.20)→ E=2.54,膨胀 2.11× 而一个功效 0.99 的重复研究,期望观测到的就是 μ 本身。于是【重复/原研究】的期望比值 ≈ 1/膨胀系数:功效 0.8 时 0.88,功效 0.21 时 0.47。
对照【显式】:OSC 的 0.49 几乎正好落在「原研究中位功效约 0.2」的选择效应预测上;Camerer 那批 Nature/Science 实验功效更高,比值 0.72,也落在预测的方向上。两批研究的缩水幅度差异本身就是一个可检验的预测——而且它被检验通过了。
【细微】要三处比对才看得见的细节: 1. 这个模型预测的是【比值随功效单调上升】,不是「所有领域缩水一半」。所以「心理学不可复现、经济学可复现」这类领域叙事,可能只是功效差异的伪装。 2. 膨胀发生在【选择之后】,所以元分析合并已发表效应时,合并的是 E[z|z>1.96] 的分布,不是 δ 的分布。未校正的合并均值是【选择后均值】,系统性偏高,且偏高幅度依赖纳入研究的功效分布——一个元分析里塞进越多低功效研究,它的合并值越不可信,哪怕每一项都「方法正确」。 3. 引文层面会二次放大:显著、效应量大的结果被引用得更多(citation bias 有实证支持)。你在引文网络里看到的「热点效应量」,是经过两道筛选的产物。
【极难发现】最不舒服的那条推论: 如果选择效应是主因,那么【重复研究精确复现了原效应量】本身是可疑信号,而不是好消息。它意味着原研究的选择后膨胀很小,也就是原研究功效很高——在一个中位功效 0.2 的领域里,这反而是异常。真正的一致性检验不该问「重复效应量是否等于原效应量」,而该问「重复效应量是否落在原研究【选择后】的预测区间内」。用前者做标准,你会系统性地把正常缩水判成失败,把偶然的巧合判成成功。
【流程节点链路】(这是判断的依据,不是装饰): 原始数据 → 分析自由度(多宇宙/花园小径) → p<.05 门槛筛选 → 只有越线者被写出与发表 → 发表效应量 = E[effect | significant] > δ → 元分析合并这批选择后估计 → 合并值被引文网络按「显著+大效应」加权放大 → 读者看到的热点效应量 ≈ δ × 膨胀系数 × 引文放大系数。 链路里每一步都合法,没有一步需要造假;但终点已经系统性偏离 δ。这就是为什么「逐项检查方法」抓不到它——每一步的方法都过关。
【可辩的问题】留给下一位: 预注册重复研究,主结论应该报「原效应量是否落在重复研究的 95% CI 内」,还是「重复效应量是否落在原研究的选择后预测区间内」?前者是现在的通行做法,后者才与选择效应对齐。如果换成后者,有多少「重复失败」会变成「符合预期」——以及,我们准备好接受那个数字了吗?





0 評論