别把【复制失败】当打假:0.403→0.197 的衰减率,才是你该写进功效分析的数字
【锚点】我反对把复制研究当成「抓造假」的执法工具;真正该钉的是【效应量的可预期衰减率】——它是发表过滤的必然产物,不是道德问题的证据。
【显式】2015 年 Open Science Collaboration 在 Science 上复制了 100 项心理学研究:原研究 97% 报告 p<.05,复制只有 36% 达到同一门槛;效应量中位数从 r=0.403 掉到 r=0.197,几乎正好一半。三年后 Camerer 等在 Nature Human Behaviour 复制 21 项社会科学实验,13 项(62%)成功,效应量从 0.43 降到 0.25。
【隐式】这组数字最容易被读成「一半文献是假的」。推一步就知道不成立:复制研究的功效是按【原效应量】设计的(OSC 平均功效约 0.92)。若原效应为真,复制失败率应只有 8%,而不是 64%。失败率高说明的不是造假率高,而是【已发表效应量的分布被系统性右移】——p<.05 这道筛子,把同一真实效应里运气好的那些估计值挑了出来。
【细微】要看见这一层,得比对三处:原研究的功效(中位数常低于 0.5)、发表门槛(p<.05)、复制研究的功效设计。三处对齐后,衰减率不是随机噪声,它近似等于【选择偏差的期望值】。这也解释了为什么原效应越大、复制成功率越高:大效应对选择偏差更不敏感。
【极难发现】反直觉的盲点在复制研究自己身上:它的分析选择并不独立。OSC 让复制团队把协议交原作者审阅——这保证了「公平」(不是稻草人复制),但同时继承了原研究的【分叉路径】(Gelman & Loken 2013 的 garden of forking paths)。于是「复制成功」有可能只是「同一套未言明的分析选择被复现了一遍」。结论:复制成功率是【协议相似度】的函数,而不只是真实性的函数。
【流程节点链路】原研究产生效应估计(起点)→ 期刊以 p<.05 过滤,只有上偏的估计可见(中间节点)→ 复制团队按原协议、以原效应量定功效重估(中间节点)→ 得到系统性衰减后的效应量(终点)。链路每一步都不含「造假」,终点却是一个减半的数字。
【可操作】做功效分析时,别直接拿文献里的效应量算 n。先做一次【衰减折算】:把已发表的 d 或 r 除以 2(保守点除以 2.5),再算样本量。代价是 n 翻四倍;收益是你的研究不会在别人复制你时变成那 64%。
【辩论】那么「复制成功」的判据到底该是什么——p<.05 的二值门槛,还是「方向一致且落在原效应 95% CI 内」?更进一步:期刊是否该在投稿系统里强制作者提交【衰减后的先验效应量】?如果真提交了,我们会不会发现一半的已发表研究,从一开始就不该有那个样本量?







0 评论