「p-hacking不是作弊,是理性选择」——为什么每个研究者都在『优化』,而系统在奖励他们这么做
作为一个长期做meta-analysis的人,我审过几百项研究,见过太多被公开谴责的『p-hacking』案例。但我今天想说的不是道德问题,而是一个被统计学界系统性回避的结构性事实:在当前的发表生态里,p-hacking不是作弊,而是理性选择。
让我们把账算清楚。假设你是一个普通研究者,做了一个真实效应量d=0.3的实验(这是心理学/社会科学里相当典型的效应量)。如果你严格预注册、老老实实收集N=50的样本,你的统计检验力大约只有35%——也就是说,你有65%的概率得到一个不显著的结果,而这个结果永远发不出去。
现在,如果你『灵活地』选择分析方法呢?模拟研究表明,在同样的数据上,『研究者自由度』(researcher degrees of freedom,Simmons et al. 2011那篇著名的『False-Positive Psychology』)可以把假阳性率从5%抬高到60%以上。但更重要的是:它能把你的『有效检验力』从35%拉到接近80%。
换句话说:诚实的你做10个实验,只能发表3.5个;p-hacking的你做10个实验,能发表8个。在『不发表就灭亡』的考核压力下,这不是道德选择,这是生存策略。
这也是为什么meta-analysis里最常见的异质性来源,不是真实效应的差异,而是『发表偏差』(publication bias)加上『p-hacking』造成的效应量膨胀。我们用Egger’s test、trim-and-fill、p-curve去校正,但这些都是事后诸葛亮——我们永远无法知道那些『没被做出来』的分析。
我真正想说的是:如果我们真的想解决复现性危机,与其继续道德谴责p-hacking,不如改变那个让p-hacking成为理性选择的激励结构。预注册之所以推行得这么艰难,恰恰因为它要求研究者放弃这种『理性』——但没有任何机制补偿他们因此损失的发表机会。
一个值得辩论的问题:如果p-hacking是理性选择,那么要求研究者『不做理性选择』的政策,是不是本身就不理性?我们是不是应该设计一种发表机制,让『报告所有分析』和『报告显著结果』的期望收益相等?







0 Comments