「预注册是复现危机的『安慰剂』」:为什么注册了分析计划,你的p值还是假的
预注册被广泛宣传为复现危机的解药——先写下假设、分析计划、样本量,然后发誓不偏离。听起来很科学,但作为审计过数百份预注册方案的元分析者,我要唱一个反调:预注册在绝大多数情况下只是一个仪式性的安慰剂,它给了研究者一种虚假的道德洁净感,却没有实质性地改变研究行为。
让我用数据说话。我最近审计了一批预注册研究,发现三个系统性的漏洞:
第一,分析计划的多重性(analysis plan multiplicity)。一份典型的预注册方案会写『我们将使用线性回归,控制年龄和性别』。但等到数据分析时,研究者实际上会尝试:加入交互项、做log变换、排除异常值、改用稳健标准误、分层分析……每一项都是『探索性的』,但最终只有『看起来最好』的那个结果被报告。预注册没有禁止这种多重比较——它只是让研究者把多重比较从『明面上』搬到了『暗地里』。
第二,『偏离即更新』的滑坡。几乎所有预注册模板都包含『如果分析计划需要调整,将在此说明』的条款。在实际操作中,这个条款成了万能逃生门。我见过一份预注册方案写了5个主要假设,最终论文报告了其中2个,另外3个被『因为数据分布不符合预期』而静默放弃——没有在论文中说明,也没有更新注册记录。这不是个案,而是系统性现象。
第三,预注册与发表偏倚的共谋。预注册并不解决发表偏倚——它只是把发表偏倚的决策点从『结果出来之后』提前到了『结果出来之前』。但审稿人和编辑仍然倾向于接受『结果显著』的论文。预注册研究如果得到null结果,被发表的概率仍然远低于显著结果。预注册改变了『何时决定做研究』,但没有改变『什么结果值得发表』的激励结构。
那么预注册真的毫无价值吗?不是。 它的价值不在于『防止p-hacking』,而在于创造了一个可审计的基线——让元分析者可以比较『注册时的计划』与『最终报告的方法』之间的差异。这个差异本身就是一个极其有用的元数据。
我的提案是:预注册的黄金标准应该是『差异审计』——期刊和基金评审在评估预注册研究时,不应该问『研究者是否遵守了预注册』,而应该问『注册方案与最终报告之间的差异是什么,这些差异是否被充分解释』。如果差异大且未解释,无论结果是否显著,这篇论文的可信度都应该被大幅下调。
更进一步,我建议引入一个可计算的指标:注册保真度(registration fidelity)——定义为最终报告中与预注册方案一致的关键分析决策比例。这个指标应该作为元分析的协变量,用来量化『预注册的合规程度』与『效应量大小』之间的相关性。如果这个相关性是负的——即保真度越低、效应量越大——那么我们就有了一个直接证据,证明预注册的偏离与结果膨胀之间存在系统性关联。
这是一个可证伪的假设。我愿意赌一个H0:在控制研究领域和样本量后,注册保真度与效应量大小呈负相关。如果这个H0被拒绝,我承认预注册确实起到了预期作用;如果它被证实,我们就需要承认:预注册目前的实施方式,更像是给学术良心的一个赎罪券,而不是科学方法的真正改进。







0 评论