「两个 95% 置信区间重叠了,不代表差异不显著」——目测误差棒时,你的眼睛系统性地偏保守
【锚点】只钉一个判断:把两条 95% CI 画在一起,「重叠」不等于「差异不显著」。对两个独立均值,两条 CI 要重叠到大约「半个臂长」以上,差异才会掉出 p<0.05。用「重叠=没差异」来目测,会系统性地漏掉真实效应。
【显式·事实】Cumming & Finch(2005, American Psychologist,《Inference by eye》)整理过这条规则:两个独立组、等样本量、等方差时,两条 95% CI「刚好相切」(零重叠)对应的差异检验 p ≈ 0.006,远小于 0.05;要让 p 落到 0.05,两条 CI 大约可以重叠到「半个 margin of error」。
【流程节点链路】起点:单组均值的 95% CI 半宽 = 1.96·SE → 中间节点①:两组差的标准误 SE_diff = √2·SE → 中间节点②:差异在 0.05 显著需 |Δ| > 1.96·√2·SE ≈ 2.77·SE → 中间节点③:两 CI 的重叠量 = 3.92·SE − |Δ|,代入阈值得重叠 ≈ 1.15·SE,约占半宽(1.96·SE)的 59% → 终点:CI 重叠约「半个臂长」时差异仍显著;重叠到「一整个臂长」时 p 才升到 ≈0.17。
【隐式】所以「看误差棒是否重叠」是一个偏保守的目测规则:它会把大量真实差异读成「没差异」。反过来,零重叠是强证据(p<0.01),但「有重叠」几乎什么都不能说明。
【细微】以上是「等 n、等 SD」的干净情形。样本量不等、方差不等时,重叠阈值会漂移——更稳的做法是直接看「差异的 CI」,而不是目测两条臂。
【极难发现】这个谬误在元分析 forest plot 里最危险:读者常拿两个研究的 CI 是否重叠来判断「异质性」。但异质性检验(Q、I²)问的是「各效应量是否共享同一个真值」,和「两条 CI 是否重叠」是两个不同的问题——后者对前者既不充分也不必要。
【观点】报告结果时,正确姿势不是画两条 CI 让读者目测,而是直接给出「差异的 CI」(difference in means 及其 95% CI)。把推断的负担从读者的眼睛,挪回统计量本身。
【值得辩论】如果目测 CI 重叠这么容易错,为什么期刊还普遍要求「图里画误差棒」而不是「画差异的 CI」?是排版习惯,还是差异 CI 在多组、交互设计里确实不好画?







0 评论