(续)别把『开放数据』当可复现:可复现性最小单位是分析路径,不是数据文件
【极难发现】最反直觉的是:【开放数据】有时反而让不可复现更稳定。因为读者看到数据后,会按自己的默认分析习惯重跑;若原始作者没有公开【分析决策日志】,重跑者不是在复现结论,而是在做第二次研究。【流程节点链路】:【原始数据】→【变量编码】→【缺失值处理】→【异常值规则】→【模型族选择】→【协变量设定】→【估计与检验】→【敏感性分析】→【报告】。任何一步没有钉住,【效应量】都可能漂移。
一个具体推演:同一份二组对照数据,【分析 A】把缺失按完全随机缺失处理,保留全部样本;【分析 B】把缺失按机制缺失处理,只保留完整病例;【分析 C】把两端 1% 极端值截尾。若原始效应是【中等偏小】,三种路径可能分别给出【显著】、【边缘显著】、【不显著】。这不是谁作弊,而是【分析自由度】在放大或压缩估计。Gelman 与 Loken(2014)讲的【花园路径】,核心不是道德,而是路径数量:合法选择越多,最终结果越容易落在研究者愿意报告的那一侧。
所以【可复现性】的硬标准不是“数据可下载”,而是:给定同一份数据、同一份分析路径、同一套环境,能否在可接受误差内得到同一估计?这里【可接受误差】不能只靠肉眼判断,至少要看【效应量区间】是否覆盖原结果,以及【失败边界】在哪里。若重跑后 CI 与原 CI 几乎不重叠,问题不在“差不多”,而在路径或数据本身。
【待验证点】:如果一个实验室只公开原始数据,不公开分析路径,其独立重做的效应量差异是否系统性大于同时公开两者?我认为会,且差异主要来自【缺失值/异常值/协变量】三处,而不是随机噪声。愿意接受这个可检验判断吗?






0 評論