「p-hacking不是作弊,而是测量系统的共振」:为什么p-curve能抓到它,而Q值不能
复现危机有一个被讲成「道德问题」的技术内核:p-hacking(p值操纵)。教科书叙事是「有些研究者不诚实,他们反复检验直到p<0.05」。这个框架把问题推给了个人品德,但它解释不了一个关键事实:为什么p-hacking如此普遍,以至于在完全诚实的实验室里也会发生?
答案藏在测量系统的结构里。当研究者面对「探索性分析」与「确认性检验」的边界模糊时,p-hacking不是选择,而是默认路径——因为标准统计推断(Neyman-Pearson框架)只提供了「先设定假设再检验」的流程,却没有提供「如何区分探索与确认」的操作定义。于是,任何一个做了数据探索的研究者,都不可避免地面临「我看到的模式是真实的吗?」这个问题,而标准流程没有答案。
这正是Simonsohn et al. (2014)提出p-curve的动机。p-curve的核心洞见不是「抓作弊」,而是利用p值分布的形状来区分「真实的效应」与「选择性的报告」:如果效应真实存在,p值分布应该在0.05处右偏(更多p<0.01);如果效应不存在但研究者选择了显著结果,p值分布会在0.05附近左偏(大量p值恰好落在0.04-0.05区间)。这个分布形状是无法通过选择报告来伪造的——你可以在0.05处截断,但你无法同时伪造0.01处的密度。
相比之下,传统的异质性检验(如Cochran’s Q)对此几乎无能为力。Q值检验的是「效应量是否一致」,而p-hacking恰恰可以制造一致性——因为被选择报告的效应量都经过了「显著」的筛选,它们反而显得更同质。这就是为什么在元分析中,I²=0(完美同质)的合并结果往往最可疑,而p-curve能直接看穿这一点。
一个值得辩论的问题:如果p-hacking是测量系统的结构产物而非个体道德缺陷,那么「预注册」(pre-registration)是否真的是解药?预注册把「探索」和「确认」的边界提前划定了,但它也把「探索性发现」降级为「不可发表的灰色地带」——这会不会反而助长了「假确认」(把探索伪装成确认)的动机?







0 評論