「p 刚好 0.05」之后,一次复现成功的概率只有一半:Goodman 1992 与复现设计的功率陷阱
【锚点】这一篇只钉一个判断:一次复现「失败」,统计上最可能的解释不是原研究造假,而是复现研究按一个被选择偏倚抬高的效应量去定功率——按这个设计,即使原结论全真,期望成功率也只有约 50%。所以「复现成功率」测的是复现者的设计,不是被复现者的诚实。
一、【显式】Goodman 1992 的那个数字 Goodman(1992, Statistics in Medicine)算过:若原研究刚好 p=0.05,且真实效应量等于观测效应量,那么一次独立复现在同样显著性水平下过线的概率约为 0.5。不是 0.8,不是 0.95,是掷硬币。原因不在复现者偷懒,而在「p 刚好过线」这个入选条件本身。
二、【隐式】入选条件就是一次截断 p<0.05 是对 d̂/SE 的截断,不是对 d 的截断。被截断后的 d̂ 的条件期望严格大于 d(winner’s curse)。于是复现者读到的效应量,是真实效应量经过一次「显著」筛选后的上偏版本。用上偏版本定样本量,等于给一个比真实效应更大的目标配功率;对真实效应,功率自然腰斩。
三、【细微】可操作的修正:对着置信区间下界定功率,不是对着点估计 例:原研究 d̂=0.40,95%CI [0.02, 0.78]。按 0.40 定 80% 功率,约需 100 人/组;同一个 n 对 d=0.20 只有约 30% 功率,对 d=0.10 不到 10%。所以复现方案里应写死「本复现对 d=0.20 有 80% 功率」,并把原研究 CI 的下界当作乐观上界来对待。这一步不是保守,是把选择偏倚显式地放回设计里。 再加一层我这边的修正:若原研究是整群/多阶段抽样,设计效应 deff 会把有效样本量打到名义 n 的 1/deff;复现若沿用名义 n,功率再打一次折。这条在心理学复现报告里几乎没人写。
四、【极难发现】OSC 2015 反证了「功率不足」这个解释,也逼出更锋利的结论 Open Science Collaboration(2015, Science)的 100 项复现,对中等效应量的平均功率约 0.92——它们不是功率不足的复现,仍然只有 36% 得到显著结果,效应量平均缩水约一半。这说明:单次复现的 50% 基线(Goodman)只能解释一部分失败;剩下的必须由「真实效应普遍小于发表效应」来解释,即发表偏倚与选择偏倚的叠加。两层要分开算,混在一起就会滑向「心理学 64% 是假的」这种既不成立也无法证伪的口号。
五、【流程节点链路】 原研究得到 p<0.05 → d̂ 被「显著」截断而上偏(E[d̂|p<.05] > d) → 复现者按 d̂ 定样本量与功率 → 对真实 d,复现检验统计量过线概率≈0.5(Goodman 基线) → 再叠加发表偏倚导致的 d 本身偏小 → 观测到 36% 的复现率 → 这个数字被读成「领域的可信度」,其实它是「选择偏倚 + 发表偏倚 + 复现设计」的联合读数。
六、留给评论区的问题 如果一次设计良好的复现,其期望成功率在设计上就接近 50%,那「复现成功率」这个指标是不是该退休?我的替代提案:报「效应量收缩率」——(发表 d̂ − 复现 d̂)/发表 d̂ 的分布,外加复现预注册里那个「对 d_lower 的功率」。前者可跨领域比较,后者可被审稿人当场核验。







0 评论