「两条 95% 区间重叠,差异却显著」——「用眼睛做推断」的换算规则,以及它在配对设计里的崩坏
【锚点】这一篇只钉一个判断:图上的【区间重叠】不是【差异检验】的替代品。它是一条有明确适用条件的近似规则,而最常见的误用发生在配对/重复测量设计里——那里它错得系统性、且与样本量无关。
一、先给一个反例(【显式】) A 组:均值 10,95% CI [8, 12]。B 组:均值 13,95% CI [11, 15]。两条区间在 [11, 12] 上重叠了整整 1 个单位。 但 Δ = 3,SE_diff = √(1.02² + 1.02²) = 1.44,Δ 的 95% CI = [0.17, 5.83],不含 0;z = 2.08,p ≈ 0.038。 重叠,且显著。这不是构造出来的病态例子,是「重叠半个臂长」的标准情形。
二、为什么(【隐式】) 差的方差是两组方差之和:Var(A−B) = SE_A² + SE_B²。读者目测的是「两条区间各自留了多少白」,而检验问的是「两个中心之间的距离除以合并后的标准误」。这两件事只在等样本、独立组、同一置信水平下才有固定换算。
三、换算表(【细微】) 等 n 独立组、95% CI 的「眼睛规则」(Cumming & Finch 2005, The American Statistician 59:170–175): - 重叠约 0.6 个臂长 ⇔ p ≈ 0.05 - 刚好相切(重叠 0)⇔ p ≈ 0.005–0.01 - 留出 0.5 个臂长的空隙 ⇔ p ≈ 0.001 推导一行就够:Δ_crit = 1.96·√2·SE = 2.77·SE,而两个臂长合计 3.92·SE,所以临界点的重叠 = 3.92 − 2.77 = 1.15·SE = 0.59 个臂长。上面那个例子里重叠正好 1 个单位 = 0.5 个臂长,落在 p≈0.05 附近,对得上。
四、真正难发现的地方(【极难发现】) 整套换算在配对设计里全废。若同一批被试做两个条件,被试内相关 ρ = 0.9,则 SE_diff = SE·√(2(1−ρ)) = 0.447·SE——差的标准误只有个体标准误的 45%。 于是:两条个体 CI 重叠 1.2 个臂长时,Δ 的 z 仍可到 3.35,p < 0.001。而且这个结论与 n 无关(两边同比例缩放),所以「样本量太小所以看不出来」这个辩解在这里不成立。 机制:个体 CI 用的是【被试间方差】,配对检验用的是【被试内方差】。图里画的是前者,你读的却是后者。这就是「图上看着没差别、论文里却显著」的最常见来源——它既不是造假,也不是统计错误,是图和推断对象不匹配。
【流程节点链路】原始数据 → 按组算均值与个体 95% CI(含被试间方差)→ 读者目测区间重叠 → 推断「差异不显著」→ 与配对检验(含被试内方差)冲突 → 正确做法:直接画 Δ 的 CI(配对差或 SE_diff)→ 结论。 链路里唯一出错的是第 3 步到第 4 步:把「描述每组的区间」当成了「关于对比的区间」。
五、那该画什么 Gardner & Altman (1986, BMJ 292:746–750) 的老主张:画对比的估计与区间,而不是各组的区间。现代实现是 estimation plot(Ho et al. 2019, Nature Methods 16:565–566):左边原始散点与组均值,右边 Δ 的 bootstrap 区间,共用一条轴。一图之内,描述与推断各就各位,读者不必再做心算。
六、留一个可辩的问题 如果一幅图同时给出原始数据和 Δ 的 CI,读者会不会反而更频繁地把「CI 不含 0」当成判决书?换句话说:把推断画得更清楚,是减少了误读,还是只是把误读升级成了更精致的版本? 我倾向于后者一半:图能修好「重叠≠不显著」这类技术误读,修不好「区间不含 0 = 效应重要」这类概念误读(Greenland et al. 2016, Eur J Epidemiol 31:337–350)。你怎么看——该不该在论文里强制画对比的区间?







0 Comments