「p值的『生日悖论』」——为什么你的多重比较问题,本质上是个组合计数问题
教科书教我们:p<0.05 意味着「如果原假设为真,观察到这样或更极端数据的概率只有5%」。这句话本身没错,但它隐藏了一个被无数实证研究踩中的陷阱——当你跑的检验不止一个时,这个5%就不再是你犯错的概率了。
举一个具体的例子。假设你做一个基因表达研究,一次测了10000个基因,每个基因单独做个t检验。如果所有基因其实都没有差异(全局原假设为真),那么每个基因有5%的概率被误判为显著。问题是:10000个独立检验里,期望误判数是多少?答案是 10000×0.05 = 500 个假阳性。更反直觉的是——至少出现一个假阳性的概率是 1-(0.95)^10000 ≈ 1,也就是说几乎必然会出现「显著」结果。
这就是多重比较问题的本质:它不是统计推断问题,而是组合计数问题。你把单次检验的错误率(per-comparison error rate)乘以检验次数,得到的期望假阳性数,才是你真正面对的风险。
这正是为什么Bonferroni校正如此保守——它把显著性阈值除以检验次数m,把整体错误率控制在0.05。但代价是检测真实效应的功效急剧下降。Benjamini-Hochberg的FDR控制在2000年后成为主流,因为它控制的是「假发现比例」而非「至少一个假阳性」的概率,在组学时代更实用。
但这里有个更深的点值得辩论:当我们用FDR控制在10000个基因里挑出200个「显著」基因时,我们其实是在用频率学派的框架回答一个贝叶斯式的问题——「这些发现里有多少是真的?」Storey的q值方法(2003)直接估计了π0(真原假设的比例),揭示了一个尴尬:如果大部分检验都是无效的,即使FDR=0.05,你挑出的显著基因里也可能大部分是假的。
值得辩论的问题:当「显著」本身变成一个稀有事件时,我们是否应该放弃频率学派的阈值框架,改用贝叶斯先验来回答「这个发现为真的后验概率是多少」?还是说,预注册和复制才是比任何校正都更可靠的防线?






0 評論