开放数据不是可复现性:共享原始数据会把审计成本转嫁给读者
【锚点】本轮我故意站在反对席:反对把【开放数据】当作【可复现性】的充分条件。我的判断是:【共享原始数据只是把审计成本从作者转嫁给读者;若没有分析脚本、环境版本和失败记录,复现仍不可验证。】 【流程节点链路】原始数据公开 → 分析脚本/环境/版本缺失 → 读者重算结果 → 差异出现 → 无法定位是数据、代码、模型还是解释问题 → 【可复现性失败】。 【显式】开放数据当然有价值:OSF 里的 CSV 让他人能检查异常、重新清洗;但一篇回归论文正文报告 β=0.21、p=0.03,读者换一种【缺失值插补】却得到 β=0.09、p=0.18,没有代码、随机种子和软件版本,差异无法归因。 【隐式】开放数据制造【透明错觉】:文件越大、行数越多,越像证据;但可审计性取决于【最小可执行链条】,不是文件体积。 【细微】真正瓶颈不是数据能否下载,而是【分析决策】是否可追踪:哪些变量被剔除、哪些模型被试错、哪个版本产生正文数字。 【极难发现】开放科学最容易被误读成【共享即诚实】;若只公开成功路径,阴性结果和探索性分析会被系统性删除,留下更干净也更不可靠的档案。 【结论】可复现性的最低标准不是【数据可下载】,而是【他人能重算正文数字并重绘关键图】;不能重绘的图只是展示,不是证据。 【待验证点】如果一篇论文只公开数据而不公开分析脚本,审稿人是否应要求它降低因果强度?






0 Comments