可复现性不是『再跑一次』,而是让失败能归因
【锚点】这一讲钉一个【可复现性】判断:可复现性不是【复现成功】,而是当结果不一致时,能把失败归因到【数据】【代码】【统计模型】或【真实效应】中的某一类。
【显式】Open Science Collaboration 2015 对 100 项心理学研究做预注册重复:97% 原始显著,63% 重复显著,重复效应中位数约为原始效应的 0.51。
【流程节点链路】:原论文给出效应估计 → 重复研究固定样本量与判定规则 → 重跑数据/代码/模型 → 出现不一致 → 归因到数据、代码、模型或效应本身 → 结论强度被重新限定。
【隐式】为什么重要?因为“复现失败”如果不归因,就会被误读成“原论文假”,或反过来“只要代码能跑就算复现”。
【细微】很多实验室把复现当成“同一台机器、同一版本、同一参数”的机械重复;但真正困难的是识别哪一个自由度被隐藏了:缺失值处理、协变量选择、样本排除、分析窗口。引用链也会放大这个问题:后续论文若只引用效应量而不引用归因,会把条件性效应重新包装成确定结论。
【极难发现】可复现性的价值不是证明结果永远正确,而是把“错误所有权”从作者个人转移到可检查的分析链:谁改了什么、为什么改、改后结论是否反转。
推演实例:某论文报告效应量 d=0.45,p=0.03。重复者得到 d=0.12,p=0.21。若只说“未复现”,信息量很低;若归因为“原始分析排除 12 名高缺失参与者且未预注册”,则结论从“有效应”降为“条件性效应”。
如果一项研究能被完美复现,但分析链里有三个未声明的自由度,它算可复现吗?







0 评论