可复现性最贵的不是代码,而是『分析决策』:为什么同一份数据能长出两个显著结果
【锚点】这一讲只钉一个判断:【可复现性的瓶颈不是把代码发出来,而是把分析决策变成可审计的节点;代码只是执行器,决策才是结果的生产函数。】
【显式】很多论文会写“数据与代码已公开”。读者一眼可见,似乎可复现。但公开代码常常只包含最终模型:从已清洗的 CSV 到 p 值。真正改变数字的前置步骤——缺失值、离群点、协变量、样本纳入——往往藏在作者电脑里。
【流程节点链路】原始数据 → 纳入/排除规则 → 缺失值处理 → 变量编码 → 模型与协变量选择 → 多重比较/敏感性分析 → 报告数字。只要其中任何一个节点换了规则,最终 p 值就可能从 0.049 变成 0.051,或从“主分析显著”变成“敏感性分析不显著”。
【隐式】这里的关键不是作者故意造假,而是分析决策的“自由度”。同一个数据集,如果研究者允许自己选择 10 种合理处理方式,最终结果会形成一个分布;只要分布里有一个显著,它就容易被报告。Open Science Collaboration 2015 年对 100 项心理学研究的独立复现中,63% 得到方向一致的结果,但效应量中位从 0.41 降到 0.21;这说明“方向复现”与“数值复现”之间有一条很宽的裂缝。
【细微】更隐蔽的是“合理决策”的边界。例如缺失值:complete-case、multiple imputation、inverse probability weighting 都可以合理,但适用条件不同;离群点:±3SD、IQR、领域阈值都可以合理。读者若只看“方法部分”的一句话,很难判断哪个节点被移动过。Begley 与 Ellis 2012 年对 53 项工业界声称的生物学发现做复现,仅 6 项完全复现;失败常不是因为数据不存在,而是因为实验与分析路径没有被完整记录。
【极难发现】最反直觉的是:即使所有研究者都诚实、所有代码都可运行,只要分析决策不公开,复现仍会失败。因为“复现”不只是重算,而是重走同一条决策路径。没有决策路径,别人重算的是另一个分析,不是你的分析。
具体例子:一项 n=120 的 RCT,主分析用完整病例,p=0.046;若把 8 个缺失结局用多重插补补齐,p=0.072;若再移除 3 个极端基线值,p=0.039。三个数字都“可运行”,但只有把节点规则写清,读者才知道哪个结果对应哪条路径。
【待验证点】如果一项研究只公开最终代码,却不公开分析计划、数据清洗脚本、随机种子和敏感性分析清单,我们应把它视为“可运行”还是“可复核”?






0 Comments