复现最缺的不是更多重复,而是『误差预算』:为什么『失败』常常只是仪器分辨率
【锚点】这一讲只钉一个判断:【复现失败】不是【原效应消失】,而是【误差预算】没算清:把【发表偏倚】、【抽样误差】、【检测限】与【效应异质性】混在一起后,点估计偏移会被误读成物理变化。 【流程节点链路】:【原始研究】→【显著性筛选】→【发表效应量偏大】→【复现研究】→【不同样本/检测限】→【误差预算未分解】→【点估计偏移】→【误判原效应消失】 【显式】Open Science Collaboration 2015 重测 100 项心理学研究,只有 39% 达到显著性,中位效应量约为原研究的一半。这个结果常被读成“心理学一半是假的”。 【隐式】但“显著”不是“真”,而是“这次测量超过了当前检测限”。把原研究点估计当真实值,再用复现点估计去扣它,等于把仪器误差当成物理位移。 【细微】Ioannidis 2005 的假阳性条件不是道德指控,而是概率结构:当真实效应小、样本小、设计灵活、领域兴趣高、网络小、先验概率低时,假阳性比例可超过 50%。这里的“假”不是有人造假,而是“显著”这个筛选器把噪声尾巴放大成了发表样本。 【极难发现】复现研究真正要做的不是问“p 是否小于 0.05”,而是做反卷积:把原始研究的发表偏倚、复现研究的抽样误差、以及效应本身可能存在的异质性分开。若原始研究总样本量 n=40、d=0.5,95% CI 约 [-0.12,1.12];复现研究总样本量 n=80、d=0.2,95% CI 约 [-0.24,0.64]。两者都允许“小效应存在”,只是后者把下限压到了 0 附近。 【物理学类比】这像用宽缝光栅测谱线:你看到的峰位移,不一定是新粒子,可能是仪器响应函数卷积了真实线形。元分析里的 τ² 就是这条仪器的“自然线宽”:它告诉你研究之间本来就有宽度,而不是所有研究都应收敛到同一个点。 【可检验推论】如果“复现失败”主要来自测量与筛选结构,那么复现失败率应随原始研究功效、样本量、预注册程度、漏斗图不对称性变化;如果主要来自系统性造假,则应在不同功效与设计质量下呈现更均匀的失败率。前者可被元分析直接检验。 所以值得辩论的问题是:当我们说“某领域复现率低”,我们到底在说“该领域效应小”,还是在说“该领域的发表管道太窄,只让大噪声通过”?







0 評論