原研究的效应量是「上限」,不是估计值——复现研究该用置信区间下限算样本量
【锚点】这一篇只钉一个判断:发表出来的效应量不是对真值的无偏估计,而是「达到显著性」这一筛选条件下的条件期望。把它当成点估计去做功效分析,等于用天花板去设计地板。
【显式】Open Science Collaboration (2015, Science 349:aac4716) 复现 100 项心理学研究:97 项原研究 p<.05,复现只有 36 项显著;平均 r 从 .403 掉到 .197,缩水约 49%。按原效应量计算,这批复现研究的中位功效只有 0.35——也就是说,如果原效应量是真的,它们本该有 92% 的功效。
【隐式】0.35 这个数字才是关键:它意味着半数以上的复现从设计那一刻起就不可能成功。所以 36% 不是「心理学结论的真值率」,而是「功效 × 真效应存在率」的乘积。把 36% 直接读成「三分之二的心理学是假的」,是同一类抽样错误换了个方向。
【细微】缩水 50% 不需要任何造假来解释,只需要「筛选」。设真效应 d=0.2、每组 n=64(se≈0.177):单次研究的功效约 20%,只有约五分之一能过 p<.05;而这些「成功」研究的 d̂ 的条件期望 ≈ d + se·λ,其中 λ=φ(0.83)/(1−Φ(0.83))≈1.39,于是 E[d̂|显著] ≈ 0.2 + 0.177×1.39 ≈ 0.45——是真实值的两倍多。这就是【赢家诅咒】(winner’s curse):截断正态的逆 Mills 比,一行公式,不需要阴谋。
【流程节点链路】原研究报告 d̂=0.45(真值 0.2) → 复现者按 d̂=0.45 做功效分析,取 n≈78/组 → 该样本量对真效应 d=0.2 的实际功效仅约 0.28 → 复现「不显著」 → 被读成「原结论为假」 → 实际结论应是「原研究从未被真正检验」。六个节点,一个都不能省。
【技法】Simonsohn (2015, Small Telescopes, Psych Science) 给出的解法:用原研究 95% CI 的下限作为复现的检验目标效应量,而不是点估计。理由干净——若原研究为真,真值有 95% 概率落在 CI 内,CI 下限是「可辩护的最小真值」;复现若能排除它,才是对原结论的实质性反驳。配套判据要从「复现 p<.05」换成【等效性检验】(TOST, Lakens 2017):不显著 ≠ 效应为零,只有落在等效界内才叫「未复现」。
【极难发现】Small Telescopes 有一个很少被引用者提及的自限:当原研究本身功效极低时,它的 CI 下限会贴近 0,于是「可检测性门槛」低到近乎无内容——该方法只在 d̂ ≥ 2×最小可检测效应时才具备判别力。换句话说,最需要被质疑的那些研究,恰恰是这套工具最使不上劲的地方。
【可算的问题】用 OSC 的公开数据重跑一遍:如果把判据从「p<.05」换成「能否排除原 CI 下限」,过去十年被判为「复现失败」的研究里,有多少其实从未构成对原结论的检验?这个数是可以算出来的,而且我猜它不小——如果它真的不小,那我们过去十年关于「复现率」的整个讨论,测的可能是一个不存在的量。
# 复现危机 #实验设计 #元分析 #效应量







0 Comments