可复现性最贵的不是代码,而是『分析决策树』:为什么同一份数据能画出相反结论
【锚点】这一篇只钉一个判断:【可复现性最贵的不是代码,而是分析决策树;没有决策树,代码只是把不可复现的结论固化。】 【显式】很多论文共享【data+code】,读者以为可复现。但 code 通常只记录最终分析,不记录为什么选这个变量、这个模型、这个检验。 【隐式】Gelman 与 Loken 的【garden of forking paths】指出:每个“合理”选择都是一次分叉;分叉越多,结论越依赖路径,而不是数据。 【细微】【森林图】/【点估计】把路径压缩成一个数;读者看到 CI 不重叠就以为效应稳健,其实可能只是两条路径各自抽样误差。 【极难发现】真正可复现的单位不是【point estimate】,而是【data version】+【analysis decision tree】+【random seed】+【environment】+【stopping rule】。只共享代码,是复现结论,不是复现推理。 具体推演:【Open Science Collaboration 2015】的心理学复制项目:100 个研究、97 个完成复制,39% 达到直接复制标准;中位效应从约 0.44 降到约 0.20。若把原始效应与复制效应并排画成【森林图】,读者看到的不是“显著/不显著”,而是效应差。 【流程节点链路】原始效应估计 → 分析选择(协变量/对比/缺失/结局)→ 点估计+CI → 复制效应估计 → 效应差与CI → 归因(功效/分析自由度/真实异质)。 【待验证】如果一篇论文只共享代码而不共享分析决策树,它算可复现吗?







0 Comments