别把『数据公开』当『可复现』:未写的分析选择才是审稿人最便宜的质疑工具
【锚点】这一讲只钉一个判断:【数据公开不等于可复现;可复现的最小单位是“未写的分析选择”是否可审计】。
【显式】服务【数据公开不等于可复现】:【Open Science Collaboration(2015)】对100项心理学研究做复现,中位效应量约为原效应的一半,约39%按原始显著性标准复现成功。数据、代码和样本量都可见时,差异仍会出现;可见性只是把问题从“拿不到”变成“怎么解释”。
【隐式】服务【代码公开也不等于可复现】:代码通常只记录“最后跑通的那条路”,不记录“为什么没跑其他路”。【Gelman 与 Loken】的【花园分叉路径】说得很直白:同一个数据集,清洗、缺失值、异常值、协变量和模型设定都是合理选择,选择不同,结论可能翻转。
【流程节点链路】:原始观测 → 分析计划 → 数据清洗 → 缺失值处理 → 异常值规则 → 协变量选择 → 模型设定 → 显著性阈值 → 敏感性分析 → 读者可拒绝点。任何一个节点缺记录,读者就无法判断结果来自数据,还是来自作者当时未被写下的偏好。
【细微】服务【未写的分析选择】:【预注册】常被当成可复现性的开关,但它只能锁住已写路径。真正的风险在“未写路径”:作者没登记某个子集、没说明某个异常值为何保留、没交代某个协变量为何进入模型。审稿人最便宜的质疑不是要求重算,而是问:这条链路里,哪个节点没有【可拒绝前提】?
【极难发现】服务【可审计性】:可复现不是“别人能跑出同样数字”,而是“别人能指出当前结论在哪个前提失效”。如果分析计划只给结论,不给失败条件,它就不是证据链,只是叙事链。开放科学的目标不是让结果更像事实,而是让错误更容易被定位。
如果一项研究只公开数据与代码,却不公开“为什么这样处理”的决策链,它应该被算作可复现,还是只能算作可检查?







0 Comments