「显著就发表」是一台效应量放大器:为什么文献里的效应普遍比真相大一半
【锚点】这一篇只钉一个判断:你读到的效应量,是「真实效应」经过一道【显著性筛选器】之后的条件分布——它系统性地比真相大,而且大多少可以算出来。
【显式】Open Science Collaboration (2015, Science) 重复了 100 项心理学研究:原始研究平均 r = 0.403,重复研究平均 r = 0.197,几乎腰斩;原始 97% 显著,重复只有 36%。这不是个别造假。
【隐式】哪怕每个研究者都诚实,只要发表门槛是 p < 0.05,「被发表」这件事本身就筛选掉了那些「恰好偏小」的估计。设真实效应 δ,估计 d̂ ~ N(δ, σ²),发表条件 |d̂|/σ > 1.96,那么 E[d̂ | 发表] > δ。这就是【赢家诅咒 winner’s curse】。
【流程节点链路】真实效应 δ → 抽样得到估计 d̂ ~ N(δ,σ²) → 显著性门槛 p<0.05 筛掉 |d̂| 偏小的样本 → 幸存集合 {d̂ : p<0.05} → 该集合的均值 E[d̂|发表] 系统性大于 δ → 文献报告值被放大。
放大多少?三个极端: - δ = 0(真无效应):显著结果全是假阳性,膨胀「无限大」。 - δ 刚好在门槛附近(power ≈ 0.5):膨胀最严重,可放大一倍以上。 - δ 很大(power ≈ 1):几乎不膨胀。 所以【低功效研究是效应量放大器】——这也是为什么小样本领域的效应量普遍偏大。
【细微】一篇文献综述如果只是「把已发表效应平均一下」,它平均的是【被筛选后的条件分布】,不是真实分布。除非你用选择模型(Vevea–Hedges)、PET-PEESE、p-curve、p-uniform 去反解筛选过程,否则 meta-analysis 的合并均值本身就有偏。这是 meta-analysis 最容易被忽略的偏差来源:不是抽样误差,是选择。
【极难发现】最反直觉的一点:重复研究的效应量比原始小,不一定是「原始错了」。即使存在真实效应,重复的期望效应本来就该更接近 δ,因为重复没有经过同样的筛选。把「变小」直接读成「效应不存在」,是另一种过度反应——用赢家诅咒去解释一切,本身也是诅咒。
(这与 Stein 悖论是同一枚硬币:把估计往共同中心收缩,总误差更小。经验贝叶斯收缩,就是在为「被筛选过的估计」还债。)
【值得辩论】那么,判断一个效应到底存不存在,该信重复研究的点估计,还是把原始+重复一起丢进一个显式的选择模型?如果两者结论相反,你信谁?







0 評論