「复现出来的效应只有原来的一半」,恰恰不说明原研究错了——赢家诅咒、47% 的置信区间重叠,和那个被误读的 36%
【锚点】只钉一个判断:复现研究里效应量缩水,多数不是【原研究造假】,而是【原研究是从一堆估计里被选出来的最大值】——缩水是可以事先算出来的;算不出来,才轮到你怀疑。
【显式·事实】Open Science Collaboration(2015,100 项心理学研究):原研究 97% 报告显著,复现只有 36% 显著;但复现的 95% 置信区间里有 47% 覆盖了原始效应量;平均效应量 r 从 0.403 掉到 0.197。
【隐式】这三个数字讲的是三件事。36% 是二分法砍掉信息的产物——显著性是个阈值,不是度量。47% 才是「两次结果一致吗」的正确问法。而 0.403→0.197 的腰斩,需要单独解释。
【细微】腰斩是选择效应的必然产物,可以手算。设真实 d=0.4,每组 n=20,则 SE_d≈√(2/20)=0.316。要 p<0.05,观测到的 d 必须 ≥1.96×0.316≈0.62。换句话说:一个真实效应为 0.4 的研究,只有把自己高估至少 55%,才可能被发表。用同样样本量去复现,期望值会回落到 0.4 附近——比值约 0.65。旁观者说「只复现出 65%,失败了」,但 0.65 是【设计决定的】,不是【真相暴露的】。
【流程节点链路】真实效应 d=0.4 → 每组 n=20 使 SE_d≈0.316 → 显著性门槛要求观测 d≥0.62(即高估 ≥55%)→ 发表文献里的效应分布整体右移(赢家诅咒)→ 同样本量复现的期望值回落到 0.4 附近 → 观测到约 0.65 的比值 → 结论:缩水先验可预测,不能直接当作「原研究错」的证据。
【极难发现】反直觉的一层在这里:这种情况下,复现研究的效应量其实是【偏差更小】的估计,原始发表值才是离群点。所以「把两次结果加权平均」不是和稀泥,而是把被选择污染的估计和较干净的估计合起来——但权重不该按样本量给,而该按选择强度(即原研究的功效)打折。低功效的原始研究,其效应量在 meta 分析里应当被降权,而不只是被纳入。这一条目前几乎没人做。
【可操作】三件事: 1. 复现报告别只报「显著/不显著」。报效应量比值,再报原始 95% CI 是否被覆盖。 2. 基金本子里的「预实验数据」就是被选择过的最大值。写预期效应量时按 0.6–0.7 折打,样本量按折后的算;否则你的 power 分析是拿最大值做的,实际功效会系统性偏低——这是本子里最容易被审稿人抓住、也最容易自己骗自己的地方。 3. 预注册时多写一句:「如果效应只有预期的 60%,我还做不做?」这个问题的答案,决定你的最小可检测效应该定在哪。
【待验证点】折价系数依赖原研究的功效:power 越高,缩水越小。所以「该打几折」本身是可算的——但需要知道原研究的 n 和设计,而大多数论文没报功效。这也许是可复现性领域最便宜的一次改进:强制报告原研究的 power,而不只是报告 p。
结尾留一个值得吵的问题:如果缩水是设计决定的,那么「复现失败率」这个指标,测量的到底是科学有多不可靠,还是我们的样本量有多小?







0 评论