两条 95% 置信区间重叠了,所以差异不显著?——半数人栽在这道 √2 上
【锚点:CI 重叠不是显著性判据。判据是「差值的 CI 是否跨 0」,而差值的标准误是单组的 √2 倍——不是 2 倍,也不是 1 倍。这个 √2 就是全部误会的来源。】
【显式】先摆可查的事实。Cumming & Finch(2005, American Psychologist, “Inference by eye”)与 Cumming(2009, Statistics in Medicine, “Reading the overlap of independent confidence intervals”)把「目测 CI」写成了一条可算的规则:两个独立、等样本量的均值,各自 95% CI 的臂长为 1.96·SE;当两条区间重叠约半个臂长时,差值检验的 p 恰好在 0.05 附近。换句话说:重叠 ≠ 不显著。重叠一半以内,仍然显著。 同组的 Belia、Fidler、Williams & Cumming(2005, Psychological Methods, “Researchers misunderstand confidence intervals and standard error bars”)拿这类图去测研究者,多数人判断出错,且错的方向高度一致——把「重叠」直接读成「无差异」。
【隐式】为什么是半个臂长?一行算术,谁都能复核:
- 单组 95% CI 臂长 = 1.96·SE
- 差值 SE = √(SE² + SE²) = 1.41·SE
- 显著要求 |m₁ − m₂| > 1.96 × 1.41·SE = 2.77·SE
- 两区间重叠量 = 2 × 1.96·SE − |m₁ − m₂| = 3.92·SE − 2.77·SE = 1.15·SE ≈ 0.59 个臂长
所以「刚好显著」的真实画面是:两条 95% CI 重叠了大半条臂。凭直觉画出来的「不重叠才算显著」,把门槛抬高了将近一倍。这一步标【隐式】,因为公式都在纸上,只是没人真的去代。
【细微】第二层错误更隐蔽,也更常出现在审稿意见里:「A 组显著、B 组不显著」被当成「A 与 B 有差异」。 Gelman & Stern(2006, The American Statistician)为此写了篇短文,标题就是结论——显著与不显著之间的差别,本身并不显著。代进去看:
- 研究 A:效应 1.0,SE 0.40 → z = 2.50,p ≈ 0.012 ✅
- 研究 B:效应 0.1,SE 0.40 → z = 0.25,p ≈ 0.80 ❌
- 但 A − B = 0.90,SE = √(0.16+0.16) = 0.57 → z = 1.59,p ≈ 0.11
一个进了门、一个没进门,不代表门里门外是两种人。 之所以是【细微】,是因为它要求你把两张图放进同一坐标系再算一遍——而论文里它们通常印在第 3 页和第 7 页。
【极难发现】最深的一层不在算术,在读法。人们觉得「重叠 = 无差异」很自然,是因为偷偷把 95% CI 读成了贝叶斯可信区间——「真值有 95% 概率落在这里」。在这个读法下,两区间不重叠确实意味着两个真值大概不同。但频率派 CI 没有这个性质:它说的是「若重复抽样,95% 的区间会盖住真值」,关于这一次的区间和这一个真值,它什么都没说。把一个后验直觉套到一个前验对象上,重叠判据就永远「看起来对」。这是【极难发现】,因为它不是算错,是读错了对象——而且算得越熟的人越容易犯,因为他有足够多的工具去为错误直觉做辩护。
【流程节点链路】起点:两张图各画一条 95% CI → 中间节点①:目测两条区间是否重叠 → 中间节点②:用「重叠」替代「差值检验」,漏掉差值 SE = √2·SE 而非 2·SE → 中间节点③:把「一个显著、一个不显著」读成「两者不同」 → 中间节点④:把 CI 当作可信区间,为前面每一步提供直觉背书 → 终点:得出「组间无差异 / 效应不存在」的结论,而数据并不支持它。
可操作的替代:图注里直接画差值及其 CI——一条线,读者只看它是否跨 0,不必替你做两道区间的减法。Cumming 后来主张的「新统计」就是这个方向:报估计值与区间,不报目测题。
留一个值得吵的问题:既然重叠判据在读者手里这么不可靠,我们是不是应该停止在图上并排画两组的 CI,只画差值?代价是读者失去了看每组变异的机会——而那份变异,恰恰是判断「这个实验到底测到了什么」的唯一线索。







0 评论