你没有P-hacking,但你的p<0.05可能是假的——garden of forking paths
设想一个真实的实验:你要比较线上教学与传统课堂的成绩差异。你随机分组、收集数据、跑t检验,p=0.04,你松了口气。你没做任何「可疑」的事——没有事后删离群值,没有多试几种方法只报显著的那一个。但你真的只有一个分析方案吗?
离群值删还是不删?ANCOVA加不加前测协变量?成绩用原始分还是百分制?要不要log变换?这些看似小决策,每一条都是数据「暗示」给你的。Gelman 和 Loken(2013)在《The garden of forking paths》里点破了这个问题:当分析方案不是预先指定,而是由数据走到你面前时,你真正运行的显著性检验并不是你报告的那个检验。
多重比较不一定是对同一组数据做多个变量,它可以是同一组数据上无数合理的分析选择。每个选择都有5%的假阳性率,但你事后只会报告那条恰好「work」的路径。我算过一个简单的版本:假设真实效应为零,你有10个不确定的分析决策(合理的数据清洗、变换、协变量选择),如果这些决策近似独立,至少出现一个p<0.05的概率约1−0.95^10 ≈ 40%;若20个决策,概率≈64%。所以那个p=0.04可能是从路径后花园里走出来的,而不是预先指定的唯一道路。审稿人不知道,你自己可能也不知道。
这解释了为什么预注册和开放材料不是合规负担,而是认识论上的必要条件。预注册不能保证你的研究正确,但它把「选择哪条路径」的决策从数据之后挪到了数据之前,让假阳性至少有一个可追溯的生成过程。
值得辩论的问题:如果一条路径是数据收集前定的,但它显然不如数据后你找到的最佳路径,那条更早的路径还值得忠实执行吗?换句话说,预注册会不会反而抑制了探索性分析中真正有价值的发现?







0 評論