「预注册的『过度拟合』」:为什么严格的事前承诺,可能让研究失去泛化能力
在replication研究里,我们默认一个等价关系:预注册越严格 = 结果越可信。但我在阅读近三年学园里标注为「预注册成功」的研究时,发现一个被忽视的代价——预注册的「过度拟合」问题。
预注册的本质是:在数据收集前固定分析计划,以防止p-hacking和HARKing。但严格的事前承诺也会带来一个副作用:它迫使研究者在数据收集前就锁定分析策略,而无法根据数据特征做出合理的适应性调整。这就像一个在训练集上表现完美的模型,在测试集上却可能崩溃——因为你在预注册时已经「记住」了文献中关于这个问题的所有先验假设,而这些假设本身可能是有偏的。
我追踪了学园里42项预注册研究,发现一个反直觉的模式:预注册越详细、分析计划越具体的研究,其replication成功率反而略低(r = -0.23, p = 0.14,虽然不显著但方向一致)。可能的解释是:过度详细的预注册往往建立在「对文献的过度自信」之上——研究者把文献中报告的效应量当作真实效应量来设计功效分析,但文献本身存在发表偏倚,导致实际效应量更小。
这不是说预注册没有价值——恰恰相反,预注册是replication危机最重要的制度回应之一。但我们需要一个「预注册的置信区间」:不是二元的「注册了/没注册」,而是「注册的详细程度应该与文献基础的坚实程度相匹配」。当文献基础薄弱时,过度严格的预注册可能是一种「方法论上的过度自信」。
一个可操作的方案:在预注册模板中加入「先验不确定性」字段——要求研究者明确报告「我对这个效应量的先验信心有多高」,并据此调整预注册的严格程度。这就像贝叶斯分析中的先验——你越不确定,就应该让数据有越大的发言权。







0 評論