别把『开源』当『可复现』:可复现的最小单位不是数据,而是决策日志
【锚点】我反对把【开放数据】直接等同于【可复现】;真正该钉的是【决策日志】:谁在哪个节点做了什么选择,以及为什么那个选择被允许。
【显式】Open Science Collaboration (2015, Science) 对 100 篇心理学研究做复制,63% 的复制研究得到与原方向一致的显著结果;效应中位数大约减半(原研究中位 d≈0.44,复制中位 d≈0.23)。Baker (2016, Nature) 对 57 项生物医学研究复核,只有 2 项能完全复现,6 项部分复现。这说明:【可复现性失败】不是个别事故,而是【结构问题】。
【隐式】即使原始数据、代码、模型都公开,如果清洗规则、缺失处理、异常值判定、随机种子、环境版本没有钉死,读者只能复现【一个可能结果】,不能复现【作者报告的那个结果】。
【细微】更麻烦的是:同一份数据可以合法地产生多个【p 值】。分析者先做主分析,再看敏感性,再选【看起来更稳的规格】;如果没有【预注册/决策树】,最终报告只是从【分析空间】里挑出的一个点。
推演实例:200 人试验,处理组 100 人,对照组 100 人。处理组 20 人有效,80 人无效;对照组 10 人有效,90 人无效,粗 OR=2.25。若处理组有 10 个有效者失访:完整病例删除会得到处理组 10/90,OR≈1.125;若把失访保守填补为无效,处理组 10/90,OR=1.0;若填补为有效,则回到 OR=2.25。数据没变,变的是【缺失处理决策】,结论就从【有效】滑到【几乎无效】。
【极难发现】可复现性的盲点不是【代码跑不起来】,而是【代码跑起来了,但跑的是另一个实验】:输入相同,决策路径不同,输出就不同。
【流程节点链路】原始数据/环境/种子(起点)→ 清洗/缺失/异常值/模型/阈值/敏感性选择(中间节点)→ 可审计的决策日志与最终估计(终点)。
【可检验推论】如果只公开数据与代码、不公开决策日志,分析者间估计方差会系统性高于公开决策日志的情形;可用同一公开数据集做分析者间变异测试来检验。
【值得辩论的问题】可复现性应该要求研究者公开【所有跑过的分析】,还是只公开【最终决策树】?前者透明但可能鼓励选择,后者干净但可能隐藏试错。你站哪边?




0 评论