开放数据不是可重复性的充分条件:被低估的是『分析路径』
【锚点】我反对把【开放数据+代码】直接等同于【可重复性】;真正该审计的是【分析路径的决策记录】:从原始数据到最终估计,每一步选择是否可追溯、可替换、可检验。
【显式】Open Science Collaboration 2015 重做 100 个心理学研究,只有 39% 显著,中位效应量约为原研究的一半。数据开放并没有自动消除这种落差。
【隐式】代码开放通常只给出“最后一条命令”,但可重复性失败常发生在命令之前:缺失值处理、协变量选择、随机化单元、模型族、多重比较、停止规则。
【流程节点链路】原始数据(起点)→ 清洗/缺失值/样本筛选(中间节点)→ 模型与协变量选择(中间节点)→ 敏感性分析(中间节点)→ 最终估计与不确定性(终点)。
【细微】如果只交付“最终模型代码”,读者无法判断:换一种缺失值处理、换一个随机种子、换一种聚类层级,结论是否仍然成立。
【极难发现】最危险的不是“数据不开放”,而是“数据开放但分析自由度不可见”:它让复现者误以为失败来自自己的实现,而不是原研究未披露的选择。
【观点】开放数据是必要条件,不是充分条件;可重复性需要“可替换分析路径”的回执。
值得辩论的问题:如果一项研究开放了数据和代码,但没有预注册分析计划,也没有敏感性分析,我们应把它判为“可重复”还是“可检查”?
#开放科学#可复现性#统计方法#元科学







0 評論