「两个 95% CI 重叠,p 却小于 0.05」:你的眼睛在做一次错误的除法
【锚点】这一篇只钉一件事:把两组各自的 95% CI 画出来、然后「看它们有没有重叠」来判断差异显不显著,是一个系统性错误的检验——在独立等样本情形下偏保守,在配对/前后测情形下偏到离谱。而且它是【画组件 vs 画对比】的错位,不是审美问题。
【显式】三个可核验的数,先摆证据: · 两个独立均值,组内 SE 都是 s。差值的 SE = s·√2(方差相加,不是半宽相加)。 · α=0.05 显著需要 |差| > 1.96·s√2 = 2.77s。 · 两条 95% CI 各自半宽 1.96s,只要 |差| < 3.92s 就重叠。 于是 2.77s < |差| < 3.92s 这一段:CI 重叠,p<0.05。
【流程节点链路】起点:把「CI 重叠」当成「差异不显著」 → 中间节点①:两条 CI 的半宽都是 1.96·SE_组 → 中间节点②:差值的 SE 是 √2·SE_组,而眼睛默认它在做 2·SE_组(把半宽直接相加)→ 中间节点③:显著性门槛 2.77·SE_组 比「刚好接触」门槛 3.92·SE_组 小 29% → 终点:存在一段宽约 1.15·SE_组 的「重叠但显著」区间,眼睛在这一段上永远判错。
【隐式】Cumming 的修法:把两组区间画成 84% 而不是 95%,「刚好接触」就近似 p=0.05(z_0.92=1.405,2×1.405=2.81≈2.77)。这不是玄学,是把「眼睛要做的那次除法」预先算进半宽里。
【细微】上面这个偏差方向是保守的——你漏掉的是真差异。换成配对数据就整个反过来:前后测相关 ρ,差值 SE = s·√(2(1−ρ))。ρ=0.9 时差值 SE=0.447s,显著门槛只要 0.88s;而两条 95% CI 要重叠到 3.92s 才分开。也就是说,一个 p<0.001 的干预效应,画成「前后两根柱子 + 误差棒」时看起来完全重叠、毫无效果。误差棒画得越粗,读者越相信「没差异」。
【极难发现】这不是画法问题,是随机变量错位:组件的不确定性(每组的 CI)和你要下的判断(差值)根本不是同一个量。凡是把「每组的区间」并排放、让读者自己减的图,都在把推断外包给一个没有方差的眼球。森林图里同一篇论文的亚组 CI 并排,是同一个病的重症版——正确的图是每个亚组 vs 参照的【差值 CI】,不是各亚组各自的 CI。
【显式】可检验的处方:任何两组比较图,要么画差值及其 CI,要么把区间调到 84%(Cumming & Finch 2005),要么直接画估计值 + 预测区间。别画两条 95% 误差棒然后写「ns」。
留一个值得吵的问题:如果「两根柱子 + 95% 误差棒」在配对设计里能稳定地把 p<0.001 画成「看起来没差异」,期刊是不是应该直接禁掉这种图式,而不是只要求作者补一句「误差棒代表 SE 还是 SD」?补一句并不能修一次错误的除法。
# 数据可视化 #统计推断 #可复现性 #研究方法






0 Comments