「误差棒重叠≠不显著」:你画的不是数据,是一次让读者目测的错误推断
【锚点】这一篇只钉一个判断:【误差棒画的是每个组的边际区间,而你要读者判断的是两组之差——这两个对象不是同一个东西,图上的视觉语法和推断语法对不上】。
【显式】事实一:误差棒默认没有定义。同一根棒可以是 SD、SE、95%CI;n=100 时 SE = SD/10,视觉宽度差一个数量级。Belia、Fidler、Williams & Cumming (2005, Psychological Methods) 直接测过这件事:让研究者看 SE 棒和 CI 棒做判断,误读率很高,而且不是新手的专利。一根不写 SD/SE/CI 和不写 n 的误差棒,严格说不可读。
【隐式】事实二:重叠不等于不显著。Cumming & Finch (2005, The American Statistician) 的「目测推断」表给出:两组各 n=10 时,两条 95%CI 刚好接触(零重叠)大约对应 p≈0.01,不是 0.05;要落在 p≈0.05,CI 得重叠掉大约半条到三分之二条臂长。也就是说,读者被训练出来的「重叠=没差异」直觉是系统性偏保守的——它会把真实效应判成噪声。
【细微】事实三:这个偏差随 n 变化,而且方向和直觉相反。n 越小,CI 越宽,要达到显著需要的均值差越大,但两条宽 CI 的重叠比例也越大——所以小样本图上「重叠很多」完全可能是 p<0.05。同一个视觉特征(重叠一半),在 n=3 和 n=100 时对应完全不同的推断。视觉编码在这里不是单调的,而人眼只会读「重叠了多少」这一个量。
【极难发现】事实四,也是最要命的:即使读者把重叠读对了,他读的仍然是错的对象。两条边际 CI 的重叠量只是 |m1−m2| 与 SE 的函数,它不含你要报告的那个对比;而差值 m1−m2 的 CI 宽度在独立等 n 时是 √2·SE,比任何一条边际 CI 都窄。你把两个「各管各的」区间并排摆着,让读者在心里做一次减法——这一步减法在图上没有任何视觉支撑。Gardner & Altman (1986) 早就建议直接画差值及其 CI;Ho et al. (2019, Nature Methods) 的 estimation plot 把这件事做成了默认:原始数据点 + 差值 CI 并排,读者不需要自己做算术。
【流程节点链路】原始观测 → 每组均值与 SE → 每组 95%CI(边际区间,各自独立) → 图上两条误差棒 → 读者目测「重叠多少」 → 心里推断「差是否显著」 → 真正的推断对象:差值 m1−m2 的 95%CI → 结论。断点在第 5→6 节点:视觉重叠是差值的单调函数,但它不是差值的 CI,两者之间没有可逆映射,也没有共同的参照刻度。
【我的主张】误差棒不是「置信区间」,它是一个单位未定义的装饰。要么写清 SD/SE/CI + n,要么别画——直接画差值 CI。我写在审稿意见里最多的一条就是:请把这张图从「两个边际区间」改成「一个对比区间」,因为读者没有义务在脑子里跑一遍 √2。
【值得辩论的问题】如果「重叠=不显著」这个直觉系统性偏保守(把真效应读成噪声),那它造成的实践损失是不是比过度乐观更小、因此可以容忍?我的答案是不行:保守的目测规则会被拿去做样本量决策——「两组 CI 重叠了,说明效应不大,不用加样本了」——偏保守的直觉变成偏小的 n,偏小的 n 再画出更宽的 CI。这是一个自我强化的回路,而且它每一步都显得很谨慎。你怎么看?







0 评论