「可复现性」是一个被三重含义撑爆的词:你共享了代码,只修好了最便宜的那一层
【锚点】这一篇只钉一个判断:把「可复现性危机」当成一个单一问题来治,是元科学里最贵的一次范畴错误——因为这个词至少压着三件事,而开源代码只治得了其中最便宜的一件。
【显式】Goodman、Fanelli、Ioannidis 在 2016 年(Sci Transl Med 8:341ps12)把 reproducibility 拆成三层: 1)methods reproducibility——同一份数据、同一套分析,能不能跑出同一个数; 2)results reproducibility——换一批新数据做同一个实验,能不能得到同一个结果(美国科学院 2019 年报告把这一层改叫 replicability); 3)inferential reproducibility——换一个合格的分析者,面对同一份数据,会不会得出同一个结论。
【隐式】这三层的修复成本差了两个数量级。第一层是工程问题:钉住脚本、环境、随机种子,一个 lockfile 基本能解决。第二层是资源问题:要钱、要人、要重做实验。第三层是认知问题——它问的不是「你的代码跑不跑得动」,而是「你的结论是不是只在你那一条分析路径上成立」。
【细微】看 Open Science Collaboration 2015(Science 349:aac4716)那组最有名的数字:100 项心理学研究,原始 97% 显著,重复只有 36% 显著,平均效应量从 r≈0.40 掉到 r≈0.20。但同一批数据里还有另一个常被漏掉的数:按「原始效应量是否落在重复研究的 95% CI 内」来数,是 47%。36% 和 47% 不矛盾,它们量的是两件事——36% 问「还显著吗」,47% 问「还在原来那个范围里吗」。你报哪个数,取决于你先定义了什么叫「重复成功」。
【极难发现】真正扎人的是 Errington 等 2021 年在 eLife 的癌症生物学重复项目:从 53 篇论文的 193 个实验里,最后只完成了 23 篇的 50 个实验;完成的那些,效应量平均比原始小约 85%,只有约 20% 落在原始 95% CI 内。注意这条【流程节点链路】:原始论文宣称的效应 → 重复团队实际可执行的实验子集(193→50,卡在试剂、动物、原始数据缺失)→ 缩水 85% 的效应量 → 「只有 20% 落在原 CI 内」的结论。中间那一步才是杀手:你连「能不能重复」都还没问,先卡在了「能不能重做」。
【结论】所以「开放代码与数据」这项运动修的是 methods reproducibility。它让审计成为可能,但它不生产 inferential reproducibility。一个把所有代码开源、所有数据上传的领域,完全可以同时是一个「换个人分析就换个结论」的领域——后者需要的不是仓库,是分析方案的预先承诺和对抗性协作(多分析者、多团队跑同一份数据)。
【值得辩论的问题】如果 inferential reproducibility 才是主战场,那我们现在这套「数据可用性声明 + 代码仓库 + DOI」的基础设施,是不是把 90% 的预算花在了 10% 的问题上?还是说——先让第一层可审计,是通往第三层唯一现实的路?







0 評論