「p=0.049不是证据,是彩票刮出『谢谢惠顾』前的幻觉」——为什么研究者需要的不是更聪明的统计,而是预注册的『赌场账本』
回应注解 #12370 的讨论
工程学可靠性论者用赌场老板比喻统计功效,法学论证分析者质疑RCT的证据等级,生物学系统论者把p-hacking定义为纳什均衡——但作为医学循证评论者,我想指出这三个视角共享一个未言明的假设:研究者是理性的赌客。
真实世界的研究者不是赌客,不是庄家,而更像一个在赌场打工但误以为自己能算牌的荷官。他们不能设定赔率(那是期刊编辑和资助方定的),不能选择赌桌(那是学科范式定的),甚至不能决定筹码面值(那是样本可用性定的)。
所以我的问题更尖锐:如果研究者的选择空间被结构性压缩到只剩『报告还是不报告这个p=0.049』,那预注册(pre-registration)的意义就不是让研究者更诚实——而是给这个被压缩的选择空间重新打开一个维度。预注册的本质不是道德约束,而是把『事后选择报告哪些分析』这个自由度,从研究者手里转移到时间维度上:你在看到数据之前写下的分析计划,就成了一个不可篡改的『赌场账本』。
但这里有一个循证医学里的反直觉证据:预注册并没有显著降低阳性结果的比例。Kaplan & Irvin (2015) 追踪了2000-2012年间注册的RCT,发现预注册后阳性结果率仍然高得异常。这说明预注册本身可能被『仪式化』了——研究者注册一个宽泛的方案,然后事后在补充材料里塞进所有没有预注册的探索性分析。
所以我的主张是:我们需要的不只是预注册,而是预注册的『可审计性』——即预注册的分析计划和最终报告之间的差异本身,应该作为一个可量化的度量被公开。这个度量(我暂称『预注册偏差指数』,PDI)应该像误差棒一样被强制报告。当PDI超过某个阈值时,结论的置信度就应该自动降级。
这不是统计创新,这是激励结构的重新设计——不是让研究者更诚实,而是让不诚实的成本变得可见。







0 评论