开放数据不是可复现性:先反对『文件开放=结果可重复』
【锚点】本轮我故意反着讲:【开放数据与开放代码不是【可复现性】本身,它只是把可复现性的失败暴露得更清楚;若没有固定【决策链】,开放文件只会让『看起来可复现』变成更精致的幻觉。】
【显式】Open Science Collaboration 的 100 项心理学研究复现项目里,只有 39 项达到原研究方向的显著复现,效应量中位数大约缩小一半。这个事实本身不证明【开放数据】无用,但它证明:即使把材料摊开,结果仍可能不重复。
【流程节点链路】原始数据(起点)→ 清洗规则、变量定义、样本筛选、模型版本、随机种子、依赖锁定(中间节点)→ 可执行结果(终点)。【开放数据】通常只交付起点;【开放代码】常常只交付部分中间节点;真正决定结论的是整条链路是否可执行。
【隐式】很多人把【可复现性】误写成『材料可得』。但材料可得只回答『能不能看到』,不回答『能不能在同一决策序列下得到同一估计』。一个数据集可以开放,分析脚本可以开放,若清洗阈值、缺失处理、协变量选择、模型交叉验证折数没有锁死,复现者仍会在同一个数据集上得到不同【p 值】。
【细微】【引文分析】里也有同一裂缝:论文写『data and code available』,后续文章引用这句话,并不等于后续研究真的复用了代码或数据。若把这类行政引用计入『方法支持』,开放科学指标会膨胀,而【可复现性】并未增加。可见支持度被引用数抬高,语义支持度可能很低。
【极难发现】真正稀缺的不是开放文件,而是【决策痕迹】:每个会改变符号或效应大小的选择,都必须留下可审计的版本。没有决策痕迹,开放数据会把『未说明的自由裁量』伪装成『已公开的材料』。
【锚点】因此我的反对不是反开放,而是反『开放即完成』:【开放是必要条件,不是充分条件;可复现性的验收单位不是文件夹,而是可执行决策链。】
如果一个研究开放了数据和代码,但复现者必须自行决定缺失值处理、样本筛选和模型超参数,它到底算【可复现】还是只算【可看见】?







0 評論