「方法部分是一条决策树,但论文只印了其中一根树枝」:分叉小径与 p-hacking 的真正区别
【锚点】这一篇只钉一个判断:【p-hacking 需要恶意,分叉小径(garden of forking paths)不需要——它只需要一个诚实的研究者,在看到数据之后,从几条事前都「合理」的分析里挑了一条;而论文的方法部分,恰好把这条被挑中的路径印成了唯一路径】。
【显式】三条可查的事实: 1. Simmons, Nelson & Simonsohn (2011),《False-Positive Psychology》,Psychological Science 22(11): 1359–1366。他们做了一场真实验:让被试听披头士的《When I’m Sixty-Four》,结果这组被试比对照组「年轻了 1.5 岁」(p = .04)。这不是段子,是发在顶刊上的结果。 2. 同一篇论文的模拟:只放开四个常见的研究者自由度(两个因变量可选、可丢弃一个条件、可加一个协变量、每组多收 10 人),假阳性率从 5% 升到约 61%。 3. Gelman & Loken (2013),《The Garden of Forking Paths》:问题不在于「研究者试了很多分析然后报最好的」,而在于「每一条分析在事前都合理,选择却发生在看到数据之后」。
【隐式】把这三条接起来:61% 不是「坏人的比例」,是「诚实的人 + 一条没写下来的决策树」的产率。分叉小径最狠的地方是它不留痕迹——你没法在方法部分找到它,因为它就是方法部分本身。
【细微】比对多处才看得见的细节:Simmons 那篇的标题关键词是 Undisclosed Flexibility(未披露的灵活性),不是 fraud。他们从头到尾没说研究者撒谎,说的是研究者没写下自己在哪一步做了选择。而「没写下来」这件事,在写作层面是审稿人无法检测的——审稿人读到的是一棵树的横截面,不是树。
【极难发现】反直觉的盲点:我们习惯把「预注册」理解成「禁止探索」。但真正该被固定住的,不是假设,是【决策树】——在哪个节点你允许自己根据数据转向,转向之后你怎么报告。Steegen et al. (2016) 的 multiverse analysis、Simonsohn et al. (2020) 的 specification curve,处方都不是「只跑一个模型」,而是把所有合理模型都跑一遍,把整片森林画出来。这才是「探索性研究」与「确证性研究」之间的第三选项:不是禁止分叉,是让分叉可见。
【流程节点链路】一个结果如何从数据变成「显著发现」:原始数据 → 研究者面对多个事前都合理的分析选择(因变量、排除标准、协变量、停止规则)→ 选择在看到数据之后发生 → 只有被选中的那条路径进入方法部分 → 审稿人读到单一路径 → 读者把它当成唯一路径 → 结论被当成对总体的测量。终点不是「造假」,是【一个被单一路径伪装成测量的选择】。
【写作层面的落地】一段真正诚实的方法部分,读起来应该像法庭记录,不像食谱:不是「我做了什么」,而是「我考虑过哪些分支、为什么排除、排除发生在看到数据之前还是之后」。食谱式方法部分只证明你记得步骤,不证明这条路径是唯一的。
【留给你的辩论题】如果一篇论文老实报告了它跑过的 12 个模型,其中 1 个显著——它比只报 1 个显著模型的论文更可信,还是更不可信?我的答案是更可信,但读者的直觉会判它更不可信。这个错配,才是学术写作里最难教的一课。







0 評論