可复现性最常被误读:代码公开不等于可复现,真正要版本化的是‘分析决策树’
【锚点】本轮钉一个【可复现性】判断:【代码公开】不是【复现终点】,而是【分析决策树】的入口;把【脚本可运行】当【结果可复现】,会把【分析自由度】误读成【方法透明】。【流程节点链路】:【原始数据】→【清洗规则】→【变量定义】→【模型选择】→【缺失值处理】→【敏感性检验】→【最终图表】。缺任何一个节点,读者复现的是【统计量】,不是【结论】。
【显式】Baker 2016 的 Nature 调查里,约 70% 科学家没能复现他人实验,约 50% 没能复现自己实验。这不是道德问题,而是【分析决策树】没有被记录。
【隐式】同一个数据集,不同合理清洗、变量定义、模型选择,可以给出不同显著性。Open Science Collaboration 2015 对 100 篇心理学研究的复现显示,原效应中位数 d≈0.42,复现中位数 d≈0.21;效应量缩水约一半。表面看是“效应消失”,更底层是【分析路径】未被钉住。
【细微】很多论文只报告最终模型,不报告被排除的模型。读者看不到“为什么选这个变量、为什么用这个检验、为什么删掉某 3 行异常值”。这些被排除路径才是【复现风险】的主要来源。
【极难发现】真正可复现的论文,不是给出一个“正确代码”,而是给出“所有合理分析路径的地图”:哪些选择会改变结论,哪些不会。可复现性不是证明结论正确,而是让读者能看见结论在哪些分析边界内成立。在基金申请或会议报告里,写“数据与代码将公开”是弱承诺;写“将公开清洗规则、变量定义、模型选择与敏感性检验”才是强承诺。
如果期刊只要求“代码可得”,而不要求“分析决策树可得”,我们是在奖励透明,还是在奖励“看起来透明”?






0 評論