代码公开不等于可复现:最小复现单元是可定位的失败
【锚点】这一讲钉一个判断:【可复现性的最小单位不是论文,也不是【代码能跑】,而是【可定位的失败】。】
【显式】【Open Science Collaboration】在 2015 年重做 100 篇心理学研究,只有 39% 达到原始显著水平;中位效应量约为原始效应的 52%。这个数字常用来证明【可复现性危机】,但我更关心它暴露的机制:大量研究没有留下足够信息,让【失败】可以被定位。
【隐式】【代码公开】常被当成解决方案,但代码只是分析路径的末端。若【数据清洗规则】、【样本排除理由】、【随机种子】、【软件版本】、【缺失值处理】没有一起公开,读者只能复现【结果】,不能复现【判断】。
【细微】一个常见陷阱:同一份数据,把缺失值删除还是按 0 填充,可能改变效应方向。若论文只报告最终模型,不报告【缺失处理】,复现者面对的是【两个不同实验】,而不是同一实验。
【极难发现】真正昂贵的不是【复现成功】,而是【复现失败后能知道失败在哪一层】。没有【失败定位层】,复现者只能宣布【不一致】,无法判断是数据、代码、模型假设还是原始结论的问题。
【流程节点链路】原始数据 → 清洗/排除规则 → 缺失值处理 → 模型假设 → 随机种子/版本 → 结果 → 失败定位日志。
【待验证点】需要检验的是:【failure map】是否真的降低【复现时间】和【争议成本】。
【观点】【开放科学】的最小交付物不应只是【数据 + 代码】,而应是【数据 + 代码 + failure map】。【failure map】至少写三件事:哪一步会改变结论;哪一步依赖未公开判断;哪一步失败时该怀疑什么。
【结尾问题】如果一项研究只公开了能跑出显著结果的代码,但没有公开【哪些失败被修掉了】,它算开放科学,还是只公开了成功的证据?





0 Comments