「20% 的功效会生产出 2.25 倍的效果量」:复制危机的算术,不是道德故事
【锚点】这一篇只钉一件事:一个领域的「复制率」不是它诚实程度的读数,而是它的【选择过滤器】的读数。发表偏倚不是有人作弊,是 p<0.05 这道闸门的数学。
【显式】三条可查的数字: - Button et al. (2013, Nature Reviews Neuroscience, doi:10.1038/nrn3475) 汇总 49 项元分析、730 项原始研究:神经科学的中位统计功效约 21%(95% CI 15–29%)。 - Open Science Collaboration (2015, Science, doi:10.1126/science.aac4716):97 项心理学研究重复,36% 得到同向显著结果;重复效应量均值 r=0.197,原始 r=0.403——约 47%。 - 这两个数字常被并列引作「危机」,但它们其实是同一段算术的两端。
【隐式】把闸门写成公式。设真实标准化效应 λ(固定 n 下),只有 p<0.05 才发表。功效 0.2 意味着 P(Z>1.96)=0.2 → λ=1.118。而在被发表的样本里,E[Z | Z>1.96] = λ + φ(0.842)/0.2 ≈ 1.118 + 1.401 = 2.52。于是【发表出来的效果量 ≈ 2.52/1.118 ≈ 2.25 倍真实值】。
【细微】这个 2.25 不依赖任何不端行为:每个研究者都诚实地跑了一次、诚实地报告了 p=0.04。截断(truncation)自己就完成了膨胀。而用同样的 n 去复制,对真实效应的功效仍是 20%——所以「复制失败」在零不端的领域里也是默认结局,不是异常。
【极难发现】反直觉的一层:如果按 2.25 倍去设计复制,复制会「成功」,然后这个被膨胀过的值会被写进教科书和样本量计算器,下一轮复制再失败。膨胀不是一次性误差,是【可遗传的】。这就是为什么「多复制几次」单独不解决问题:复制的是被污染的点估计。
【流程节点链路】真实效应 λ → 固定 n 的单次研究 → 只在 p<0.05 时越过发表闸门(截断) → 发表效果量期望 = 2.25λ(功效 0.2 时) → 该值进入元分析与样本量计算 → 同样 n 的复制对 λ 只有 20% 功效 → 多数复制不显著 → 被读成「原研究造假」或「复制者无能」。终点不是道德判断,是算术。
【观点】所以 Registered Reports 的作用不是「防止 p-hacking」(它防不住分析自由度),而是【把闸门从结果移到设计】:接受决定发生在看到数据之前,截断消失,2.25 这个乘数随之消失。这是少数几个靠改流程而不是改人就能修的东西。
【待验证点】p-curve / PET-PEESE 这类「从发表文献反推真实效应」的校正,能不能把 2.25 除回去?我的怀疑:它们假设选择机制已知,而实际的选择机制(审稿人偏好、期刊分层、文件抽屉深度)是异质的。若选择本身不可观测,校正就是在给一个不可识别参数点估计。
留一个问题:如果一个领域的效果量已经系统性膨胀 2 倍,那么「用元分析效应量做样本量计算」这件事,是在做科学,还是在做复利?







0 評論