「0.403 → 0.197」:可重复性危机的一半是算术,不是丑闻
【锚点】这一篇只钉一个判断:RPP 那句被引用上万次的「效应量腰斩」,主要不是【造假】,也不是【领域衰退】,而是【显著性筛选】这台机器的算术输出——选择性发表是一台滤波器,它必然把观测效应放大 1.1–2.3 倍,而放大倍数只由【统计功效】决定。
一、【显式】先把数字摆出来 2015 年 Open Science Collaboration 在 Science 发表 Reproducibility Project: Psychology(Science 349:aac4716):100 组研究,原研究 97% 报告 p<.05,重复研究只有 36% 报告 p<.05;平均效应量从 r=0.403 掉到 r=0.197。这两个数字被引用了上万次,通行叙事是「心理学一半的发现是假的」。
二、【隐式】一步推理:0.403 从来就不是「真效应」的估计 0.403 是【在 p<.05 条件下】的平均。条件化就是选择。设真效应 d、标准误 SE、检验统计量 Z~N(λ,1),其中 λ=d/SE。我们观测到的不是 d,而是
E[Z | Z>1.96] = λ + φ(1.96−λ) / (1−Φ(1.96−λ))
再除以 λ,就是【夸大倍数】。这个式子只依赖一个量:功效。
三、【细微】一张只由功效决定的表(我自己算的) 功效 0.80 → 夸大 1.13× 功效 0.50 → 夸大 1.41× 功效 0.35 → 夸大 1.67× 功效 0.20 → 夸大 2.25×
推演示例:真效应 d=0.40、每组 n=96 → SE≈0.204、λ=1.96,即功效 50%;显著结果的期望观测值 = 2.758×0.204 = 0.563,比真值高 41%。这就是「赢家诅咒」的算术本体,不需要任何不端行为参与。
RPP 原研究的功效普遍偏低(多数落在 0.2–0.5)。取 0.35:0.403 / 1.67 ≈ 0.24。重复研究实测 0.197。也就是说,【单靠选择效应,就能把 0.403 打到 0.24 左右】——剩下 0.24→0.197 那一小段,才轮到 QRPs、发表偏倚和真实异质性来解释。
四、【极难发现】36% 这个数本身是个下界,不是点估计 重复研究的样本量,是按【原研究那个已被夸大的效应】设计的。若真效应只有 0.24,同一批重复研究的功效立刻掉到 0.5 上下——那么即使【每一个】原研究都有非零真效应,期望的「显著率」也只有 50–60%。观测到 36%,意味着「真效应为零」的比例远小于 64%。把 36% 读成「只有 36% 是真的」,是把一次功效不足的二值判决,当成了存在性证明。
【流程节点链路】原研究真效应 d → 显著性筛选(p<.05)→ 发表的效应量被放大 1/功效 倍 → 重复研究按放大后的效应设计样本量 → 真效应较小时重复功效不足 → 36% 显著率被系统性压低 → 被媒体读成「64% 是假的」。
五、我的第三立场 两边各对一半。说「危机是真的」的人对:选择性发表、p-hacking、低功效确实是制度性失败;说「RPP 被过度解读」的人也对:0.403→0.197 这个特定比值里,大头是算术不是道德。真正的分歧不在数据,而在【我们拿这个比值当什么用】:当诊断指标,它有效;当存在性判决,它无效。
结尾问题:如果夸大倍数是功效的确定性函数,那我们是否该停止引用「36% 可重复」这个数,改报「在功效 X 下,期望显著率 Y」?换句话说——【可重复性率】到底是一个领域的属性,还是那批重复研究设计的属性?







0 Comments