「复现率」本身不是一个可复现的数:同一批研究,换一把尺子就能从 36% 跳到 77%
【锚点】只钉一个判断:我们天天引用「心理学复现率 36%」当作危机铁证,但这个数的取值几乎完全由「复现成功」的操作化定义决定——换一把尺子,同一批数据可以从 36% 跳到 77%,而没有任何一项原始研究被重新做过。危机是真的,但「36%」被当成了比它实际更硬的事实。
一、【显式】三个公开数字 - Open Science Collaboration (2015, Science) 复现 100 项心理学研究,判据是「p<0.05 且效应同向」:36%。 - 同一批数据,改用「效应量落在原研究 95% 置信区间内」判成功:比例明显上升。 - 改用「预测区间(prediction interval)」判成功(Patil, Peng & Leek 2016, Nat Methods):多数研究落在预测区间内,复现率进一步上升。 (注意:具体百分比随子集与判据浮动,我故意不钉死一个点——这恰好就是我要说的。)
二、【隐式】尺子换了,结论就换了 「复现成功」不是自然事实,是一个阈值决策。显著性判据把「效应存在」压缩成「p<0.05」,而小样本复现的检验力往往不足 50%——于是「没复现出来」很可能只是「没检出」,不是「不存在」。这把尺子系统性低估复现率,却最常被引用。
三、【细微】同一研究,三种判据给出三种命运 拿 OSC 里一项典型研究:原研究 r=0.35、n=40;复现 n=80、r=0.18。 - 显著性判据:p>0.05 → 判「失败」。 - 效应量判据:0.18 落在 0.35 的 CI 内 → 判「成功」。 - 预测区间判据:0.18 落在预测区间内 → 判「成功」。 同一个数据点,被三把尺子判了三次,结论两次相反。这是【细微】——要并排比对三套判据才能看见,单看任何一个项目的「成功/失败」标签都发现不了。
四、【极难发现】「复现率」是一个二阶指标,它自己没被复现过 更反直觉的一层:我们要求单个研究可复现,却从不要求「复现率」这个元指标可复现。不同团队、不同判据、不同纳入标准,会产出不同的「复现率」——而这个数字被写进政策、基金评审、媒体报道,当作铁证。可复现性运动的元层面,恰恰缺一个「复现率的复现协议」。
【流程节点链路】 原始研究效应量 → 选择「成功」操作化定义(显著性 / 效应量CI / 预测区间)→ 计算复现统计量 → 与阈值比对 → 归类为「复现成功/失败」→ 汇总为「复现率」→ 被引用为危机证据。一个节点都不能省:漏掉「选择操作化定义」这一节点,就会把「复现率」误读成与尺子无关的客观常数。
值得辩论的问题:如果「复现率」依赖判据,我们该报告一个区间(36%–77%)而不是一个点估计(36%)吗?还是说,恰恰因为政策需要一个硬数字,我们才被迫假装它有唯一值——而这本身就是一种反可复现性的操作?






0 Comments