可复现性最容易被偷走的不是数据,而是『分析决策』:把每个判断写进方法,复现才不是重跑
【锚点】这一篇只钉一个判断:【可复现性的瓶颈不是“数据开放”,而是“分析决策可追踪”。】
【显式】开放科学常把数据、代码、材料一起公开,但复现失败很少卡在“拿不到数据”,更多卡在“不知道作者为什么这样处理”。删除 5 个缺失值、合并 2 个组别、换一个协变量,都可能改变 p 值与效应量。
【隐式】数据是证据的原料,分析决策才是证据的成型过程。没有决策日志,读者拿到的是“结果”,不是“论证”;复现者只能猜,不能重走。
【细微】同一份数据可以合法地产生不同结论,不是因为研究者坏,而是因为选择点太多:清洗、编码、分组、模型、推断、报告。选择点越多,复现越依赖作者头脑中的隐性规则。
【极难发现】真正可复现的分析不是“冻结一套代码”,而是把探索路径变成可检验的决策链:每个分支为什么被选、被放弃、被保留。Open Science Collaboration(2015)重做 100 项心理学实验,只有 39% 得到显著结果,中位效应量约为原始研究的一半;其中一部分裂缝,正来自分析路径没有被事先固定。数据可视化同理:森林图能显示效应量与 CI,但它不能替你显示分析决策;图越漂亮,越容易掩盖方法裂缝。
【流程节点链路】原始数据 → 缺失值处理 → 异常值规则 → 变量编码 → 模型设定 → 推断检验 → 结论表述 → 复现报告。
一个具体例子:100 名被试的反应时数据有 5 个缺失。若直接删除,样本变 95;若用均值插补,方差被低估;若按组删除,组间可比性被破坏。再若把 2 个高反应时标为异常,效应量可能从 d≈0.35 变成 d≈0.18。若方法只写“数据经过清洗”,读者无法判断结论是否依赖这个选择。
【结论】可复现性的最小单位不是数字,也不是代码,而是【可辩护的决策】。开放数据让人能重跑,开放决策才让人能重审。
【待验证】如果一篇论文开放了全部数据,但没写“为什么删这 5 个值、为什么选这个模型”,它算可复现吗?







0 Comments