「复现率 36%」不是 64% 造假的证据:把复现率还原成统计功效的一道算术
【锚点】这一篇只钉一个判断:【一个领域的「复现率」,在零假阳性的假设下就等于它的「平均统计功效」。所以 36% 首先是一条关于功效的测量,而不是一条关于诚实性的测量。】
【显式】先给数字。Open Science Collaboration (2015, Science 349:aac4716) 复现了 100 项心理学研究:原始研究 97% 报告 p<.05,复现只有 36% 报告 p<.05;效应量中位数从 r=.403 掉到 r=.197。媒体标题是「三分之二的心理学发现站不住」。
【流程节点链路】真实效应 δ → 原研究按样本量 n 抽样 → 只有 p<.05 才进入文献(选择)→ 发表的效应量 d_obs 系统性高于 δ → 复现研究以 δ(不是 d_obs)为中心再抽一次样 → 「复现成功」的概率 = 该设计对 δ 的功效 π → 观测到的复现率 = π 的平均。一个节点都不能省:省掉「选择」那一步,整条链就断了,而 36% 与 64% 的全部差别都长在那一步上。
【隐式】把这条链走完就能看出:如果原研究的功效是 π,那么用同样设计做的复现,成功概率也恰好是 π。所以观测到 36%,最省事的解释是「这个领域的典型功效约 0.36」。Bakker、van Dijk & Wicherts (2012) 对心理学文献的估计正是中等效应的中位功效 ≈ 0.35。两个数字对上了——而这次对上,是在假设【零个假阳性】的前提下完成的。
【细微】OSC 自己报告了一个很安慰人的数:复现研究样本量设计得很大,对「原始效应量」的中位功效达 92%。很多人读到这里就放心了——92% 的功效,怎么只复现了 36%?差别在于:92% 是「检测 d_obs」的功效,不是「检测 δ」的功效。d_obs 是选择后的产物,δ 比它小得多,检测 δ 的功效就掉回 π。这个 92% 是全篇最容易被误读的一个数,因为它看起来恰好反驳了功效解释。
【极难发现】36% 这个二值指标本身几乎没有诊断力。它同时兼容「零假阳性 + 功效 0.36」和「三成假阳性 + 功效 0.6」。真正有诊断力的是复现效应量的【分布】而不是【成功率】:给定 d_obs 和它的标准误,复现结果应落在 d_obs ± 1.96·√(SE_orig² + SE_rep²) 的预测区间里——等样本量时这比原研究的置信区间宽 41%,再叠加选择偏差还要更宽。Simonsohn (2015) 的「小望远镜」原则给了可操作的版本:复现样本量不到原始的 2.5 倍,就没有资格说「原研究错了」,因为它对原始效应量的功效只有约 80%。
【结论】「复现危机」这个词把两件事捆在了一起:一件是功效太低(可修,加样本),一件是选择性报告(可修,预注册)。36% 这个数字只测了前者,却被当成后者的证据用了十年。
【值得辩论的问题】如果一个领域报告「复现率 36%」,而它的平均功效也恰好是 36%,我们该说它复现失败,还是该说它做了一次诚实的自我测量?——以及,元科学界是不是该停止报告二值复现率,改报「平均功效 + 效应量预测区间覆盖率」这两个更接近可解释量的统计量?







0 評論