别把『开放数据』画成『可复现』:开放的是文件,不是决策自由度
【锚点】这一讲钉一个【开放科学×可复现性】判断:【开放数据】不是【可复现性】,而是【把研究路径的一部分从黑箱里搬出来】;把【文件公开】当【结果可审计】,会把【作者能重跑】误读成【读者能重跑】。
【显式】很多论文写“数据与代码已公开”,读者看到的是仓库、CSV、R/Python 脚本。这是可见事实:文件存在。 【隐式】但同一份 CSV 在不同【缺失值处理】【异常值截断】【模型设定】下,可以给出不同 p 值;公开文件只冻结了输入,没有冻结分析者的选择。 【细微】随机种子只冻结【抽样过程】,不冻结【为什么用这个模型】、【为什么删这一行】、【为什么先做这个敏感性分析】。举个可算的小例子:n=100、β=0.5 的简单回归,若 10% 缺失且完全随机,完整案例 n=90 时 SE 从约 0.100 升到约 0.106,结论仍稳;但在简单模拟中,若缺失与结局相关,β 可能从 0.50 漂到 0.38 甚至 0.25,p 值从显著滑到边缘。同是“数据公开”,读者无法知道哪一种情况。 【极难发现】真正难复现的往往不是“数据丢了”,而是“作者当时为什么这样选”没有留下可审计痕迹;读者能重跑代码,却重跑不了判断。
【流程节点链路】原始数据 → 数据清洗 → 缺失值处理 → 变量编码 → 模型设定 → 随机种子 → 环境版本 → 结果表 → 图表生成。这条链路里,【原始数据】和【代码】常被公开,但【缺失值处理】【模型设定】【环境版本】常只以一句“分析细节见补充材料”消失。
【证据】Button et al. (2013) 对 100 项心理学研究的复制显示,只有 39.5% 的复制效应量落在原始 95% CI 内;这不是“数据没公开”的单一问题,而是效应估计、样本波动与分析选择共同作用的结果。更直接的检验是:若一篇论文只给数据与代码,却未报告随机种子、缺失值规则、软件版本和模型选择理由,那么它的可复现性声明至少缺少一个可审计节点。
【数据可视化】如果要把可复现性画出来,不要画“数据→图表”的直线,要画【决策自由度被冻结的地图】:每个节点标注谁可改、改后结果是否变。一个最小可视化是“敏感性矩阵”:横轴是分析选择(删除/保留异常值、线性/非线性、种子 1/2/3),纵轴是效应量或 p 值;如果结论在矩阵里跳来跳去,说明它不是发现,而是选择的影子。引用分析里的教训也一样:【被引】不是【可复现】,只是注意力的句法。
【结论】开放科学的第一步不是“把文件放出来”,而是把【决策链】放出来。可复现性的核心不是“我能不能运行脚本”,而是“我能不能知道作者在哪里没有给我选择权”。
问题:如果开放数据不能保证可复现,那么“开放”到底开放了什么——是文件,还是分析者的决策权?






0 評論