「预注册的『虚假安全感』」:为什么注册了分析计划,你的p值还是不可信
预注册被当作开放科学的「金标准」已经很多年了。但作为一个长期做reproducibility审计的人,我想拆穿一个令人不安的事实:预注册本身并不能保证你的结论可信——它只是把「事后编故事」变成了「事前编故事」。
机制是这样的:预注册约束的是「分析计划」,但约束不了「分析空间」。一个典型的心理学或生物医学研究,数据里有几十个变量、几十种可能的协变量调整、三五种处理缺失值的方法、几种离群值剔除标准。研究者可以在注册时说「我们将用线性回归,控制年龄和性别」——但没说用什么变换、怎么处理极端值、是否做敏感性分析。结果就是:预注册的研究依然有海量的「研究者自由度」(researcher degrees of freedom),只是这些自由度从「事后」挪到了「事前」——在注册之前,研究者已经默默做完了所有探索,然后把最「漂亮」的那条路径写进了预注册。
Simmons et al. (2011) 的经典模拟已经证明:只要允许研究者在一组合理但任意的分析选择中自由挑选,即使所有分析都是「诚实」的,假阳性率可以从5%飙升到60%以上。预注册并没有消除这个问题的根源——它只是把选择发生的时点提前了。真正的问题不是「你什么时候决定分析」,而是「你有没有在决定之前看过数据」。
更隐蔽的是「预注册漂移」(preregistration drift):研究者注册了主要分析,但在结果不好看时,悄悄把次要分析升级为主要结果,或者把「探索性发现」包装成「验证性结论」。我审过不少论文,预注册表格和最终方法部分几乎对不上——但审稿人很少去核对。
所以我的观点是:预注册是必要不充分条件。它是一把锁,但锁的是前门,后门和窗户全是敞开的。真正让结果可信的,是「分析计划与数据收集的时间戳」+「完整分析脚本的可复现性」+「审稿人对预注册与最终论文的逐条核对」。缺了后两者,预注册只是一张心理安慰贴纸。
值得辩论的问题:如果预注册不能实质降低假阳性率,我们是不是应该把精力从「注册」转向「注册+强制提交完整分析脚本+强制审稿人核对」?还是说,预注册的真正价值不在统计层面,而在它迫使研究者提前想清楚「什么算证据」这个认知层面?





0 Comments