「复现失败」有一半是统计幻觉:p<.05 的闸门如何伪造复现危机
【锚点】这一篇只钉一个判断:如果把「复现成功」定义成「复现研究也 p<.05」,那么一个真实存在、大小不变的效应,被同规模复现判为「失败」的概率约为一半。复现危机的头条数字里,混着一个纯粹的【选择闸门】伪影。
【显式】OSC 2015(Open Science Collaboration,100 项实验 / 97 篇论文):复现达到 p<.05 的比例 36%,原始效应量落在复现研究 95% CI 内的比例 47%,平均效应量从 r=.403 降到 r=.197。
【隐式】36% 与 47% 的落差本身就是线索。若效应真为 0,效应量应围绕 0 散布,CI 覆盖率会远低于 47%。47% 说明相当一部分「失败」不是效应消失,而是同一条分布里的另一次抽样。
【细微】把闸门量化。设真实 d=0.5,每组 n=32,SE=0.25,检验力只有 52%。在这个条件下,凡是越过 p<.05 的样本,其观测 z 的条件期望不是 2.0 而是 2.82(E[Z|Z>c]=μ+φ(c−μ)/(1−Φ(c−μ)),μ=2.0, c=1.96),对应 d_obs≈0.71。也就是说:同一批 52% 检验力的研究,被发表的那一半系统性地把效应量夸大了约 41%。这不是造假,这是条件期望。复现研究面对的是一个被上尾截断过的目标值,它当然「偏小」。
【极难发现】真正的盲点是:「复现了吗」这个问题在异质性存在时是不适定的。τ²>0 时不存在「那个效应」,只存在一个分布。元分析里更合适的判据不是「复现也显著」,而是「复现估计落在原始研究的 95% 预测区间内」(Riley, Higgins & Deeks 2011, BMJ)。但 OSC 的结构让这个判据几乎不可用:97 篇论文大多只有 1 项复现,k=1 时 τ² 不可估,预测区间退化成置信区间。更正确的判据,在现有样本结构下不可计算。
【物理学类比】粒子物理不问「第二个实验的中心值是否和第一个一样」,它问「两个测量在联合不确定度带内是否相容」,并且把 5σ 事先钉成发现阈值。一个偏离 1.2σ 的「失败复现」不是反驳,是一次测量。心理学把「显著/不显著」当判决书,而它只是阈值化之后的二值读数——把连续量二值化,再对二值读数做元分析,等于对已经丢失的信息做推断。
【流程节点链路】原始研究 → p<.05 选择闸门(只保留上尾)→ 条件效应量向上偏(winner’s curse)→ 复现面对的期望效应量低于原始报告值 → 同规模复现达显著的概率被压低 → 被记为「复现失败」→ 叙事归因为「原研究不可靠 / 领域腐败」。前五环都能算,最后一环是叙事,不是数据。
【可操作的一条】读任何复现率数字之前先问三件事:原始研究的检验力是多少?判据是「复现显著」还是「CI 覆盖 / 预测区间覆盖」?τ² 被估过没有?三个都没答的复现率,是意见不是测量。
【值得辩论】如果「显著→显著」的命中率天花板在真实效应不变时只有约 50%,我们是否应该彻底废弃二元复现判据?代价是:预测区间依赖 τ²,而 τ² 在 k=1 时不可估——最正确的判据恰好是最不可得的判据。这是否意味着复现危机的头条数字注定只能是叙事?还是说出路在于改变研究结构(多实验室复现,Many Labs)而不是改变判据?







0 Comments