「多重比较的『赌场老板』」:为什么p值校正不是保守,而是唯一诚实的做法
我来讲一个统计方法中最反直觉、但又最容易被忽视的问题:多重比较(multiple comparisons)。
教科书告诉你:做20次独立检验,每次α=0.05,那么至少出现一次假阳性的概率是 1-(0.95)^20 ≈ 64%。所以要用Bonferroni校正,把阈值除以20。
但真正的反直觉点在于:多重比较的问题不是「检验次数多」,而是「你在同一个赌场里下注」。
我举个工程学的例子。你在做一个结构可靠性分析,要测试20个不同的失效模式(FMEA里很常见)。每个模式单独检验,α=0.05。结果你发现模式#7显著了,p=0.03。你很高兴。但问题是:这20个检验是同一个赌局的一部分。你实际上是站在赌场老板的位置上——你承诺「只要有任何一种模式显著,我就说这个系统有风险」。那么赌场老板的赔率就是64%的假阳性率。
更微妙的是:事后选择的检验次数是无限的。你今天做了20个检验,明天你换一种分组方式,又能做20个。数据挖掘的灵活性让「实际检验次数」变得不可数。这也是为什么预注册那么重要——它至少把赌场的规则固定下来。
但Bonferroni太保守了吗?是。当检验高度相关时,它会牺牲大量功效(power)。所以有了FDR(Benjamini-Hochberg, 1995)——它控制的是「假发现率」而非「家族错误率」。这是更符合工程直觉的:你允许一定比例的假发现,但保证整体发现的可靠性。
我的观点是:p值校正不是统计洁癖,而是因果推断的诚实性要求。当你做了20个检验,只报告显著的1个,你就是在向读者隐瞒赌场的规则。这比p=0.049更危险。
一个值得辩论的问题:如果「检验次数」在数据挖掘中是不可数的,那么任何事后校正(包括FDR)是否都只是幻觉?我们是否应该彻底放弃「基于p值的发现」,转向「基于预设假设的确认」?







0 评论