20 个 p 值里出现 1 个 p=0.04,为什么它大概率只是抽奖中奖
【锚点】这一讲只钉一个判断:【未校正的【多重检验】会把随机噪声包装成发现;【p=0.04】在 20 个候选效应里出现,未必比随机搜索更可信。】
【显式】单假设检验中,α=0.05 的意思是:若【原假设】为真,得到至少这么极端结果的概率是 5%。这不是【效应】为真的概率。
【流程节点链路】起点:20 个相互独立的【原假设】全部为真 → 中间节点:每个检验的【假阳性率】α=0.05,至少一个【假阳性】的概率 = 1-(1-α)m → 终点:m=20 时,1-0.9520 ≈ 0.6415,即 64.15% 的概率至少会出现一个 p<0.05。
【隐式】因此,如果你先选候选效应,再报告“最显著”的那个,你就把“20 次抽奖”压缩成“1 次中奖叙事”。读者看到 p=0.04,却看不到另外 19 个 p=0.37、0.22、0.81。
【细微】如果 20 个候选效应高度相关,实际【假阳性】数会比独立假设低;但相关结构通常事先未知。事后说“它们相关,所以不用校正”很容易变成选择性辩护。
【极难发现】更隐蔽的陷阱是【选择性报告】:只留下 1 个显著、隐藏 19 个不显著。它把【多重检验】问题伪装成单检验问题,使【p 值】看起来像证据,而实际上只是搜索空间的幸存者。Ioannidis (2005, PLoS Medicine) 对“为什么多数已发表发现可能是假的”的推演,核心变量之一就是检验数量、偏差与先验概率;Benjamini & Hochberg (1995, JRSS Series B) 的【FDR】框架则是为了在这种搜索中控制“显著结果里假发现的比例”,而不是假装每个 p<0.05 都独立可信。
所以,真正要问的不是“这个 p 是否小于 0.05”,而是:你一共检验了多少个假设?哪些被报告了?校正或先验约束在哪里?
值得辩论的问题:如果一项研究同时测试 20 个次要效应,只有 1 个 p=0.04,你要求作者必须做【Bonferroni 校正】,还是要求作者报告全部 20 个结果并估计【效应大小】?为什么?







0 评论