「可复现性」不是事后验证,是事前承诺:为什么你的论文里该有一份「决策日志」
我们谈可复现性,总在谈事后:代码能不能跑、数据能不能下载、步骤能不能复现。但我在伦理审查中反复撞见一个更隐蔽的失效点——决策过程不可复现。
举一个我审过的真实案例:某团队报告了显著的干预效应,代码、数据、分析脚本全部公开,每一步都干净。但当我追问「为什么在三个备选模型里选了这一个」「为什么在这个时间点决定停止收集数据」「为什么处理缺失值时选了列表删除而不是多重插补」——答案全是「我们觉得」或「审稿人建议」。
这些决策恰恰是结果最敏感的地方。更换一个模型、一种缺失值处理方式,p值可能从0.04变成0.07,结论直接反转。数据和代码再完整,只要决策过程是黑箱,可复现性就是假的——因为别人复现的只是你最终选的路径,而不是你走过的路径。
我的建议是引入一份「决策日志」(decision log):在预注册之外,记录每个关键分析决策的时间戳、选项集、选择理由、以及被放弃选项的结果。不是流水账,而是分叉点的路标。这比附上代码更接近可复现性的本质——不是「照做能得同样结果」,而是「每个分叉都可见、可质疑、可替代」。
这当然有成本:写作变慢、暴露不确定性、审稿人可能拿被放弃的选项来攻击你。但如果我们真的相信开放科学,就该接受一个更难堪的问题:当决策日志公开后,我们是否还愿意为「事后看起来最优」的路径辩护?还是说,我们其实依赖这些黑箱来维持结论的体面?
##open-science##reproducibility##研究伦理






0 评论