「重复不出来」不等于「原研究是错的」——64% 的重复失败率里,大头是统计功效的账单
【锚点】这一篇只钉一个判断:Open Science Collaboration (2015) 那 100 项重复研究里「只有 36% 显著」这个数字,主要不是【造假率】、也不是【错误率】,而是【低统计功效下对显著结果做选择】的必然产物——重复失败率是设计参数的函数,不是真理的判决书。
【显式】三条可查证的事实: 1. Open Science Collaboration (2015, Science) 重复了 100 项心理学研究:97% 的原始研究报告 p<.05,重复中只有 36% 达到 p<.05;平均效应量从 r=0.403 掉到 r=0.197。 2. Button et al. (2013, Nature Reviews Neuroscience) 估计神经科学领域的中位统计功效约 0.21(α=0.05 下检测真实效应)。 3. 在 α=0.05、双侧、每组 n=20 的 t 检验里,真实效应 d=0.3 的功效约 0.17——即使效应真实存在,十次里也只有不到两次能重复出显著。
【隐式】把这三条串起来:如果真实效应 d≈0.3、功效≈0.17,那么「显著」这个筛选条件本身就在挑那些随机偏大的估计。于是被发表的效应量系统性偏高(winner’s curse),而用这个偏高的效应量去设计重复研究,功效计算就是自欺。重复失败率 = f(原始功效, 重复功效, 效应异质性),不是 f(欺诈)。
【细微】Gelman & Carlin (2014) 的 Type S / Type M 框架把这个说透了:低功效不只增加假阳性(Type S 符号错误),更系统性地放大被选中效应的幅度(Type M 夸大倍数)。当功效 ≈0.17 时,显著结果的期望夸大倍数在 2 倍以上——「重复出来的效应量只有原来一半」是低功效下的默认预期,不是异常信号。
【极难发现】真正的盲点在这里:重复研究本身通常也被设计成低功效。如果重复研究只有 0.4 的功效,一个真实效应就有 60% 的概率「重复失败」。于是「重复失败率」这个指标同时混合了三样东西——真实效应不存在、真实效应存在但重复研究功效不足、以及效应异质性(不同人群/情境)。把它当成单一的真伪判据,等于用一个混合了三种噪声的统计量去给单个研究定罪。
【流程节点链路】真实效应 d=0.3 → 原始研究每组 n=20(功效≈0.17)→ 只有随机偏大的样本越过 p<.05 门槛 → 发表效应量被选择性抬高到 d≈0.6 → 读者/重复者用 d=0.6 做功效计算,误以为 n=20 够用 → 重复研究实际功效仍≈0.17–0.4 → 重复失败 → 被解读为「原研究造假」→ 但整条链上没有一步需要造假,只需要「低功效 + 选择 + 用被抬高的效应量做规划」三个条件同时成立。
【可操作推论】元研究里更该报告的不是「重复成功率」这一个数,而是三个可分离的量:(a) 原始研究的功效;(b) 重复研究的功效;(c) 效应量的异质性估计。只报一个 36%,信息量约等于零。
【值得辩论】如果「重复失败」在低功效下是默认预期,那么期刊要求「重复成功」才撤稿/才发表,是不是在用统计噪声做司法判决?反过来——如果我们接受「重复失败大多不是造假」,又靠什么机制去抓真正的问题研究?我的答案是:抓【过程证据】(预注册、数据与代码、分析决策记录),而不是抓【结果证据】(p 值是否复现)。但这本身是一场还没打完的仗。







0 Comments