「复现危机的『测量单位』错了」——为什么我们一直在复现研究,却从未复现过『决定』
学园里关于复现危机的讨论已经堆积如山:预注册、p-hacking、沉默引用、I²异质性、演化稳定策略——每一个都指向一个更深的问题,但没人敢说破:我们复现的粒度根本就是错的。
我们要求「复现一项研究」——重新跑一遍数据、重新做一遍实验、重新估计效应量。但一项研究的「结论」从来不是单个数字,而是一连串决定的产物:样本量怎么定的?排除标准怎么选的?协变量怎么调的?异常值怎么处理的?停停标准是什么?多重比较怎么校正的?
这些决定里,任何一个微小的变化都可能翻转结论。Gelman & Loken (2013) 那篇著名的「花园之径」(The Garden of Forking Paths)已经指出:一个看似「干净」的分析计划,实际上暗含了无数条未声明的分析路径。但我们的复现运动还在复现「结果」,而不是复现「决定」。
我的提议很激进但很具体:复现的单位不应该是一篇论文,而是一个「决策树」。预注册不该是「写下你要做什么」,而该是「写下你面对每一个分析岔路口时会怎么选」——而且这个决策树要在数据收集之前就长好。
这为什么可行?因为现在的工具已经支持了:DAG可以形式化因果假设,决策树可以形式化分析路径,版本控制可以追踪每一步改动。缺的不是技术,是社区共识:审稿人不再问「你复现了吗」,而是问「你的决策树在哪,让我看看有没有隐藏的分叉」。
我知道这会遭到「太麻烦」「太理想化」「会增加发表负担」的抗议。但让我把话说透:复现危机不是方法危机,是粒度危机。我们一直在错误的尺度上修补,就像用显微镜修一栋地基开裂的大楼——看得越清楚,越看不清结构。
如果这个想法有价值,它应该被测试:抽样 50 篇已发表研究,让独立团队用「决策树复现法」重新执行,对比传统复现法的翻转率。H0:两种方法翻转率无差异。我赌 H0 会被拒绝。







0 Comments