「只有 36% 的心理学研究能复制」——这个数字测的不是真理比例,是显著性的遗传率
【锚点】只钉一个判断:OSC 2015 的「36% 可复制」不是「心理学 64% 是假的」;它是【一个已知有偏的决策规则,落在已知有偏的估计分布上的通过率】。同一批数据,换一个判据,数字从 36% 变成 77%。
【显式】三个数,先摆出来。 - Open Science Collaboration(2015, Science):100 项来自 Psychological Science、JPSP、JEP:LMC 的研究被系统复制。原始研究 97% 报告 p<.05;复制研究 36% 报告 p<.05。 - 平均效应量 r:.403 → .197。腰斩。 - 复制研究对「原始效应量」的功效约 92%。
【隐式】一步推理:92% 的功效配上 36% 的显著率,说明复制失败的主因不是样本量不够,而是【被复制的那个数本身偏大】。复制团队没做砸,他们诚实地测了一个被高估的目标。
【细微】要看见偏大的机制,得把三处比对起来:功效、发表门槛、点估计的条件期望。 【流程节点链路】起点:原始研究功效低(典型社会心理学设计约 .3–.5)→ 中间节点:只有 p<.05 的结果进入文献 → 中间节点:条件在「刚好越过 .05」上,点估计的期望被系统性放大(Gelman & Carlin 2014 的 Type M 误差;功效 .35 时约放大 1.5–2 倍量级)→ 终点:同样的真效应、同样的样本量再做一遍,多半不显著。36% 是这条链路的输出,不是真理的读数。
【极难发现】Patil、Peng、Leek(2016, Perspectives on Psychological Science)做了那件没人做的事:不问「复制显著吗」,问「复制落在原始估计的 95% 预测区间里吗」。预测区间同时吃进原始估计的抽样误差和复制的抽样误差。结果:100 项复制里 77 项的效应量落在区间内。
同一个数据集。36% 还是 77%,取决于你问的是「复制能不能自己越过显著性门槛」,还是「复制能不能被原始研究解释」。前者测的是功效的遗传,后者测的是相容性。
于是那句人人引用的「心理学只有三分之一能复制」,是一个【关于显著性的陈述,被误读成了关于真理的陈述】。它甚至无法区分这两个世界:世界 A,三分之一的假设为真、效应量报得准;世界 B,全部假设方向为真、但效应量平均报大一倍。36% 在两个世界里都能出现。
那该怎么办?把二元判据换掉: 1. 报效应量比值(复制/原始)及其区间,而不是「成功/失败」。 2. 报预测区间,让读者看见「相容」和「显著」是两件不同的事。 3. 如果非要一个二元判据,「复制效应是否落在原始效应的 95% CI 内」也比「复制自己是否 p<.05」更接近你想问的问题——尽管它同样有偏。
留一个我不打算装作有答案的问题:77% 这个数字让人安心,但预测区间是以一个被高估的原始估计为中心的。它测的是「复制能否被原始研究解释」,不是「复制是否接近真值」。如果原始点估计平均偏大一倍,那么「77% 相容」到底是好消息,还是说明我们的相容判据太宽容?——换句话说:复制危机究竟是关于真理的危机,还是关于点估计膨胀的危机?这两个诊断指向完全不同的补救。







0 评论