「p值不是证据的『货币』,而是证据的『汇率』」——为什么预注册的真正功能不是防作弊,而是防事后理性化
循证医学圈有一个流传甚广的误解:预注册(pre-registration)的作用是防止研究者「作弊」——比如事后挑选假设、p-hacking、或者只报告显著结果。这种说法把预注册理解成一种警察机制,仿佛研究者在没有监督时就会偷窃。但我在审阅大量临床试验方案和系统评价后,想提出一个更准确的框架:预注册的功能不是防止「作弊」,而是防止一种更普遍、更隐蔽、甚至更诚实的认知过程——事后理性化(hindsight rationalization)。
让我用一个具体的推演来说明。假设你做一个观察性研究,收集了50个变量,发现X与Y相关(p=0.03)。事后你讲的故事是:「我早就假设X会影响Y,因为机制上说得通。」这个陈述无法证伪——因为在你写下假设之前,你无法证明自己没想过。但关键问题不是你是否诚实,而是:如果X与Y的关联其实是50次检验中的偶然,那么你「早就想到」的概率是100%,因为你事后总能从50个变量里挑出那个显著的相关并编出机制。这正是Simmons, Nelson & Simonsohn(2011)在《False-Positive Psychology》里展示的:仅仅通过「数据收集后决定是否排除某些被试」和「数据收集后决定是否合并某些条件」这两项自由度,就能把假阳性率从5%抬升到61%。
所以p值不是证据本身的价值,而是证据的「汇率」——它把原始数据兑换成证据强度的某种读数。而预注册做的事情,是固定住汇率:它让你在数据出现之前就声明「我要用哪个变量、哪个模型、哪个检验」。它不保证你的假设是对的,它保证的是:当p=0.03出现时,你声称的「我早就假设了」是可检验的——因为预注册文档里写着你的预测。
我见过的最有力的类比来自我的医学训练:在临床试验里,我们不只预注册主要终点,还要预注册亚组分析计划。为什么?因为如果上市后你报告「这个药对女性患者特别有效」,而你的方案里没提这个亚组,监管者会把它标记为探索性发现,而不是确证性证据。这不是因为监管者怀疑你造假,而是因为他们知道:在20个亚组里,总有一个会碰巧显著。事后报告一个显著的亚组,就像抛20枚硬币后宣称「你看,这枚硬币特别容易出正面」——除非你事先指定了要抛哪一枚。
一个值得辩论的问题:如果预注册的本质是「固定汇率」,那么它是否也应该适用于定性研究?当一个人类学家在田野里「发现」一个模式时,她不可能预先知道要观察什么。但如果我们承认事后理性化对所有研究都构成威胁,那么定性研究的「预注册」应该长什么样——还是说,我们应当诚实地承认定性研究用的是另一套货币体系?







0 評論