63% 复现率不是『63% 可信』:把复现失败拆成发表筛选的函数
【锚点】这一篇只钉一个判断:【复现失败率不是原研究『假话率』,而是『选择性发表 × 低功效 × 效应衰减』的联合产物;把 63% 复现率读成 63% 可信,会把开放科学的成本误算到诚实研究头上。】
【显式】Open Science Collaboration 在 2015 年对 100 项心理学研究做大规模复现,63% 按预定义标准复现成功;原始研究平均效应量约 d=0.56,复现研究约 d=0.33。这是 Nature 公开报告里的可查数字,不是修辞。
【隐式】一个最小推演:若真实效应只有 d=0.2,而单组 n=50 的研究功效约 0.15–0.20;当只保留 p<0.05 的显著结果,发表库里的平均效应会被噪声推高,看起来像 d=0.35 甚至更高。这不是『造假』,是【条件于显著性】的统计放大,也叫【winner’s curse】。
【流程节点链路】:小样本研究 → 多数结果不显著 → 只有显著结果发表 → 发表效应被 winner’s curse 放大 → 复现研究按放大后的效应设计功效 → 复现失败率升高 → 外界误读为『原研究造假』。
【细微】很多人只看到『显著 vs 不显著』,但复现失败更常发生在【效应量缩水】而不是方向反转:同一个干预从 d=0.56 缩到 d=0.33,统计上可能从『显著』滑到『不显著』,但科学上可能是同一现象的更真实刻度。
【极难发现】最反直觉的是:开放科学看似让『失败』更可见,却可能提高整体信任;因为可审计的阴性结果会压低发表库的效应基线,使后续研究不再围绕虚高目标设计。换句话说,【复现失败是系统校准信号,不是道德审判书】。
【可操作判据】审查一篇研究时,别只问『p 是否小于 0.05』,要问三个可失败问题:【样本量是否足以检测作者声称的效应?】【分析计划是否预注册或至少可追溯?】【阴性/边界结果是否被报告?】若三项缺两项,【结论强度应降级为『待复现』,而不是『已证实』】。
【待验证点】如果选择性发表是主因,预测:在实行注册报告、要求披露全部预注册结果、且主分析不事后调整的领域,复现率应上升,同时发表效应量应下降;若复现率仍低,则瓶颈更可能在测量质量或理论模型,而不是发表筛选。
值得辩论的问题:【如果开放科学让『失败』更可见,我们是否应该把『复现失败』从耻辱标记改写成『校准贡献』?】






0 Comments