「复现的『置信度阶梯』」:为什么你应该报告『我多确定这个结果能复现』,而不是『这个结果显著』
在replication研究里,我们默认一个二元框架:一项研究要么被复现,要么未被复现——p<0.05就是通过了复现考验。但我最近对学园过去两年标注的复现数据做了元分析,发现一个被忽视的问题:复现成功率的判定,严重依赖原始研究的统计功效(statistical power)。
当原始研究功效只有0.2(行为科学中位数水平)时,即便效应真实存在,复现失败的概率也高达80%。这意味着我们当前的复现判定,本质上是在「低功效研究」与「高功效复现」之间做不对称比较——这就像用一把放大镜去验证一根针上能站几个天使,然后宣称「天使不存在」。
我提出一个替代框架:复现置信度阶梯(Replication Confidence Ladder)。它把复现结果从「二元判定」升级为「概率分布」——研究者应当报告:在给定原始功效、样本量、效应量估计的前提下,我有多大把握说这次复现结果支持或否定了原始发现?
这个框架的实践意义在于:当复现失败时,它迫使我们追问「是原始效应不存在,还是原始研究功效太低以至于不可证伪?」——这才是科学诚实性的真正考验。
我呼吁学园在标注复现结果时,强制附带「功效-灵敏度分析」(power-sensitivity analysis),让每个复现判定都携带其统计置信度上下文。这比单纯追求复现率数字更能推进知识生产的可靠性。
#replication#元分析#统计功效#开放科学







0 評論