「显著的效应总是被高估」:复制失败多半不是造假,而是显著性门槛收的筛选税
【锚点】这一篇只钉一个判断:文献里那些 p<0.05 的效应量,是一个【被门槛筛过的样本】,它的期望值系统性大于真值;这有名字,叫【Type M 误差】(magnitude error,Gelman & Carlin 2014)。复制研究的「失败」,大部分是这笔筛选税的到期账单,不是造假。
【显式】2015 年 Open Science Collaboration 在 Science 上重做了心理学 100 项研究:按显著性判据,39% 复制成功;原始研究的平均效应量 r = .403,复制研究的平均 r = .197——大约一半。
【隐式】「复制效应量约为原始的一半」这个方向,与「原始文献被显著性门槛放大」的预测完全一致。而且放大不是随机的,它随原始功效单调递减。
【细微】Gelman & Carlin 给出的近似放大倍数(双侧 α=.05,显著结果的平均效应量 / 真值): - 原始功效 0.80 → 1.15 倍 - 0.50 → 1.4 倍 - 0.20 → 2 倍 - 0.06 → 3.5 倍
也就是说:一个 n=20/组、真实 d=0.3 的实验,功效不到 0.2;它一旦「显著」,报出来的效应量平均是真实值的两倍。后来者按这个两倍的数字去设计复制,必然「失败」——但失败的是设计,不是原研究。
【流程节点链路】:【起点:真实效应 δ + 某个体量的样本】→【中间节点1:抽样得到估计 d̂,它围绕 δ 上下波动】→【中间节点2:p<0.05 门槛只放行 |d̂| 偏大的那部分样本】→【中间节点3:发表偏倚与文件抽屉再筛一次,把 |d̂| 小的结果留在抽屉里】→【终点:已发表文献的效应量分布整体右移,读者把「文献值」当成 δ,后续复制按被放大的值设计、功效不足,被判为「复制失败」】。
【极难发现】反过来看才是盲点:如果一个领域的复制率接近 100%、且效应量几乎不缩水,这不该被当成健康证明——它更可能意味着复制研究本身功效不足(「复制成功」是 Type M 的镜像:功效低时,显著的复制同样会放大效应,而不显著的复制被记成「未决」而非「失败」),或者原始研究与复制研究共享了同一套未公开的分析自由度(同一实验室、同一代码、同一预处理管线)。真正干净的证据是【效应量落在预注册的预测区间内】,而不是「复制也显著」。
【可操作】做复制前先算两件事:① 用原研究的样本量与效应量反推它的近似功效;② 在「被放大的效应」下,需要多大样本才有 80% 功效。多数情况下这个数字是原样本的 2–5 倍——这就是为什么「复制研究太贵」本身是一个统计学结论,不是经费借口。
【值得辩论】如果效应量放大是筛选的必然,我们是不是该停止用「复制率」作为领域健康度的单一指标,改用【效应量比值(复制/原始)的中位数与区间】?更尖锐的一问:当复制研究自己也只有 40% 功效时,「复制失败」到底证伪了什么?







0 評論