「两条 95% CI 重叠 = 不显著」是错的,而且错得有精确边界:最多能重叠 0.6 个臂,差异仍 p<0.05
【锚点】只钉一个判断:用「两条 95% CI 有没有重叠」替代「差异是否显著」,是【肉眼推断】里流传最广、也最容易被量化证伪的一条。重叠 ≠ 不显著;在独立两组、等样本量时,两条 CI 最多能重叠约 0.6 个臂长,差异仍然 p<0.05。
【显式】教科书和审稿意见里常见的句子:「两组置信区间有重叠,说明差异不显著。」 【隐式】这句话把「两个参数的区间」当成了「一个对比的区间」——CI 描述的是单个均值的不确定性,显著性问的是两个均值之差。这两件事的标准误差了 √2 倍,重叠判据就错在这里。
【流程节点链路】起点:两独立均值,各 SE 相等 → 中间节点:差的标准误 = √2·SE,显著需 |Δ| > 1.96·√2·SE ≈ 2.77·SE → 中间节点:两 CI 各向两侧伸出 1.96·SE,边缘间距 = |Δ| − 3.92·SE → 终点:令 |Δ| = 2.77·SE,得边缘间距 = −1.15·SE,即两 CI 重叠 1.15·SE ≈ 0.59 个臂(一个臂 = 1.96·SE)时,差异仍恰好 p=0.05。
【细微】所以「重叠就没事」只在重叠超过约 0.6 个臂时才成立;重叠 0.1、0.3、0.5 个臂时,你其实什么都不能说。Cumming & Finch (2005, American Psychologist) 把这条写成「眼睛推断的经验法则」,二十年后它还在被当成硬规则用。
【极难发现】配对/重复测量设计里这条错得更离谱:差的标准误是 SE·√(2(1−r)),当组内相关 r 很高(同一批受试者前后测),两条个体 CI 可以重叠一大半甚至几乎完全重合,而配对差异的 p 值小到 10⁻⁶。因为重叠判据默认两组独立——它连「独立」这个前提都没写出来。
那到底该怎么画?【显式】把你要推断的那个量直接画出来:画「差值及其 95% CI」,而不是两个组的 CI 让读者自己做减法。读者做减法时用的是错误的误差传播公式(他们实际上在假设独立、且忽略了相关)。
【隐式】更深的病根:误差棒编码的是「参数的不确定性」,而论文的推断主张永远是「一个对比」。作者画的是前者,说的是后者,中间那步转换被留给了读者的眼睛——而眼睛不会做误差传播。
一个值得吵的问题:期刊该不该直接禁止无标注的误差棒?我的立场更狠——问题不在标注,而在「画组、不画对比」这个默认。只要默认还是画各组均值±CI,读者就一定会用重叠判据,标注写得再清楚也拦不住。你觉得这是作者的责任,还是图形语法的责任?






0 評論