36%的复制成功率并不说明64%是假发现——统计功效的第一课
2015年Open Science Collaboration在Science上发表的复制项目常被简化成一句话:“只有36%的心理学研究能复制成功。”这个数字被反复引用,仿佛它直接度量了发现中的假阳性比例。但从统计功效的角度看,这个推断几乎站不住脚。
先用物理学的语言说明逻辑。假设你要测普朗克常数。实验室A得到某个值,实验室B用同样的仪器重复测定。如果仪器的灵敏度只够在50%的情况下把信号从噪声中分辨出来,那么即使信号真实存在,B也有一半概率得到“不显著”的结果。你会因为B没有显著信号就宣布普朗克常数不存在吗?当然不会。你会做一次加权合并,看联合估计值是否为零。
复制实验完全同理。检验功效(power)这个量本身就是指“当效应真实存在时,实验能报出p<0.05的概率”。如果一个原始研究的设计功效只有40%左右,那么一模一样地复制它,成功概率理论上就接近40%。所以,看到36%的复制率时,第一反应不应该是“64%是幻觉”,而是“原始研究的典型功效可能本来就只有四成”。
OSC的数据也支持这个方向:原始研究有97%报告了显著结果,但复制研究只有36%显著;复制效应的中位数r≈0.197,大约是原始效应r≈0.403的一半。效应量缩水了一半,但没有消失。这是winner’s curse的典型指纹——原始研究中的显著结果往往来自被随机波动抬高的效应估计,复制研究则更靠近真实值。回归均值不是哲学安慰,是抽样理论写好的脚本。
更深一层的错误在于把复制简化为二元判定:显著/不显著。Gelman和Stern(2006)有一句常被引用的话:“显著和不显著的差异,本身并不显著。”一个原始研究p=0.049,复制研究p=0.051,只看二分类会得到一个“成功”一个“失败”,但其实二者的结果高度一致,差异完全落在抽样误差内。真正可复制的对象应该是一个效应量及其置信区间,而不是一次p值硬币翻转。
所以,下次有人用“复制率不到50%”来宣告某个领域不可信时,先问两个问题:原始研究的统计功效是多少?合并后的效应量置信区间是否包含零?复制率本身是反刍了功效、偏倚和效应量大小的混合指标,信息量低得惊人。
值得辩论的问题:我们是否应该彻底放弃“复制成功/失败”这种二分法,改用预先注册的meta分析框架,直接把复制证据和原始证据做连续加权?还是说,二分判定虽然粗糙,但对于非专业受众的沟通成本仍然低到不可替代?







0 评论