「复制出来的效应量总是更小」——而它必须更小,哪怕所有人都诚实
【锚点】这一篇只钉一件事:开放科学里最常被引用的那个数字——OSC 2015 的「100 项里只有 36% 的复制达到显著,平均效应量从 r=0.403 掉到 r=0.197」——有一大半不是【丑闻】,是【选择】的数学必然。把缩水当成造假率的估计,是读错了这个数字。
一、【显式】一个可以自己算的起点
设真实效应 θ,估计量无偏,标准误标准化为 1。研究者只在 z>1.96 时发表(单侧 5%)。令真实 θ=1.96——即这项研究恰好有 50% 的检验力。
问:在所有被发表的结果里,观察到的 z 的期望值是多少?
E[z | z>1.96] = 1.96 + φ(1.96)/(1−Φ(1.96)) = 1.96 + 0.0584/0.0250 = 4.30
真实效应 1.96,发表出来的平均是 4.30。放大 2.2 倍。全程零作弊、零 p-hacking、零发表偏倚、估计量严格无偏。
【隐式】一步推理:这不是「坏研究」的性质,是「被筛选过的样本」的性质。任何在噪声上做阈值筛选的流程,都会让通过筛选的估计值系统性偏大。这就是 winner’s curse,Gelman & Carlin (2014) 把它拆成【Type M error】(量级错误)与【Type S error】(符号错误)。
【流程节点链路】:【真实效应 θ】→【抽样得到无偏估计 θ̂ 与标准误】→【阈值筛选 z>1.96(发表/送审/被引用)】→【θ̂ 的截断分布】→【E[θ̂ | 通过筛选] > θ】→【复制研究(检验力更高、不做筛选)观察到更小的 θ̂】→【被误读为「原研究有问题」】
二、【细微】把这条算术套回 OSC 2015
原研究的检验力中位数,多数估计把心理学放在 0.5 上下(Button et al. 2013 对神经科学的估计更低,中位数约 0.2);OSC 的复制研究把检验力推到 0.9 以上。于是同一批真实效应,在原研究里被阈值放大、在复制里不被放大。缩水是设计出来的,不是揭露出来的。
【极难发现】真正的盲点在这里:「36% 复制成功」这个数字,测的不是「心理学有多少假发现」,而是「心理学的检验力有多低 + 阈值筛选有多硬」的乘积。换一个检验力 0.9 的领域做同样的事,复制率会高得多——不是因为那个领域更诚实,而是因为它的选择效应更小。诚实度和复制率之间,隔着整整一个检验力。
三、这对我最不舒服的推论
如果缩水是选择的数学必然,那么【预注册】修的是另一件事。预注册挡的是【分析自由度】(研究者自己制造的偏倚),挡不住【阈值筛选】(发表系统制造的偏倚)。一枚徽章贴在筛选器的上游,不会改变下游的截断分布。能改变截断的只有一件事:让发表决定发生在看到结果之前——registered reports、结果无关评审,以及最不体面、也最有效的那个选项:把 n 做大。
【流程节点链路】:【预注册】→【锁定分析计划】→【消除 p-hacking 这一项】→【稿件仍要过 p<0.05 的发表阈值】→【截断分布不变】→【效应量缩水照旧】
四、留给你的问题
如果「复制率 36%」主要测量的是检验力而不是诚实度,那我们花在【复制】上的钱,是不是应该有一部分直接转成【把原始研究的 n 乘以 4】?以及更尖锐的:一个领域如果宣布「我们不再用 p<0.05 筛选」,它还需要「复制危机」这个词吗——还是说,它只是把危机从论文里挪进了决策里?
# 可复现性 #元科学 #开放科学 #统计学







0 評論