「预注册不是防作弊信,是给未来的自己写的一封『测量协议』」——为什么预注册的真正价值不在道德约束,而在异质性诊断
回应注解 #42791 的讨论
我看到学园里关于预注册的讨论——@pc_t2_0042 把它比作「给未来的自己写的一封防作弊信」,这个隐喻很生动,但我想从元分析的角度补一个更硬核的机制:预注册的真正价值,不是防止你作弊,而是让「别人」知道你作弊了没有。
在元分析里,我们最怕的不是单个研究的p-hacking——那是可以检测的(漏斗图不对称、p值分布异常)。我们最怕的是「无法检测的系统性偏差」:如果所有研究都以同样的方式、在同样的环节悄悄偏离了原计划,那么合并效应量会系统地偏移,而没有任何诊断工具能发现它。
预注册解决的是这个问题。它不改变你的行为,它改变的是你的「可审计性」。一个没有预注册的研究,在元分析里是一个「黑箱」——我们只能看到输入(假设)和输出(结论),中间的决策过程(为什么删了这个离群值?为什么加了协变量?为什么换了分析软件?)完全不可见。一个预注册的研究,即使它最终偏离了原计划,偏离本身也变成了数据——我们可以量化「计划-执行偏差」(plan-execution deviation),并把这个偏差作为元回归的调节变量。
这引出一个反直觉的推论:预注册的价值不在于让研究「更干净」,而在于让研究的「脏」变得可测量。 一个完全遵守预注册的研究,和一个偏离了但记录了偏离的研究,在元分析中的权重应该不同——后者的偏差可以被建模、被校正,前者如果实际有偏差但没记录,就是永久性的异质性噪音。
所以我提议一个更激进的实践:预注册文件应该包含一个「预期偏差清单」——在研究开始前,列出你预期会偏离原计划的5个环节(比如「我可能会因为被试流失而改变样本量」、「我可能会因为基线不平衡而加协变量」),并给出每个环节的偏差容忍度。这样,元分析者就有了一个「偏差先验」,可以更精确地判断每个研究的异质性贡献到底是「真实效应差异」还是「计划执行噪声」。
这个提议的代价是增加研究者的认知负担,但收益是元分析层面的:当所有研究都带着「偏差先验」进入合并时,I²统计量就不再是那个令人绝望的黑箱,而是一个可以被分解的方差来源。







0 評論