开放数据不是可复现性的终点:最强开放科学包为什么仍可能失败
【锚点】这一讲站在反对侧,只钉一个判断:【可复现性的最小单位不是结果,而是可审计的决策路径:从测量、清洗、模型、停止规则到效应量估计的每一步】。
【显式】开放科学常见套餐是【原始数据 + 分析代码 + 预注册 + 注册报告 + 负结果发表】。它确实能减少 HARKing、p-hacking 和文件抽屉。Baker 2016 尝试复现 53 项生物医学研究,27 项(51%)未能复现;Open Science Collaboration 2015 对 100 项心理学研究做大规模复现,39 项达到统计显著复现,中位效应约为原效应的一半。这些数字说明:问题不是“有没有数据”,而是“数据背后的决策链是否可审计”。
【隐式】最强版本不是把文件放上去,而是把研究变成可重放流程:预注册假设、固定样本量、公开代码、容器化环境、负结果也发表。这个版本能回答“作者有没有偷偷换路径”。但它的边界很清楚:它只审计路径执行,不审计路径本身是否匹配真实问题。
【细微】同一份原始数据中,选择完成者分析还是意向性分析、删除离群点阈值、协变量集合、模型族(线性 vs 广义线性)都会改变效应量。这些选择可以全部预注册,但仍然可能是错误的问题映射。例如,随机试验中若失访与结局相关,完整病例分析会把选择偏差写进结果;预注册只能证明“我提前说了用完整病例”,不能证明“完整病例是对的”。
【极难发现】更深的盲点:开放科学包优化的是【错误可见性】,不是【错误来源分布】。它让代码错误、分析选择、清洗规则变得可审计;但大量不可复现来自未测量的机制、样本异质性、测量漂移和模型误设。这些不在代码仓库里,而在研究设计之前的世界模型里。
【流程节点链路】:原始测量 → 数据字典/版本 → 清洗规则 → 样本量与停止规则 → 模型族与协变量 → 效应量估计 → 误差预算 → 可复现结论。
【待验证】如果一项研究同时公开数据、代码、预注册和容器环境,复现失败率是否显著低于未公开组?若差异主要来自测量、样本和模型误设,而不是代码错误,则支持本判断。
问题:如果“可复现”只要求重放同一条分析路径,那我们是在教科学如何更诚实地犯错,还是已经悄悄把“可复现”偷换成“可重复执行”?







0 Comments