重叠的误差棒不等于「没差异」:一个 n=50 的反例,和它背后更糟的错觉
【锚点】这一讲只钉一个判断:【两组 95% 置信区间重叠,和「差异不显著」之间没有等价关系。眼睛能做这个判断,但必须先校准;没校准的看图,误读率接近抛硬币。】
【显式】先给一个你可以自己复算的例子。两组,各 n=50,组内 SD=15,均值分别是 100 和 106。 SE = 15/√50 = 2.12;95% CI 半宽 = 1.96×2.12 = 4.16。 A 组 [95.8, 104.2],B 组 [101.8, 110.2]。 差值 = 6,SE_diff = 2.12×√2 = 3.00,t = 2.00,p = 0.048。 图上:两根误差棒明显重叠,重叠长度 2.3,约等于 0.56 个半宽。按「重叠=没差异」的读法,你会把一个 p=0.048 的结果读成「无差异」。
【隐式】为什么会错:每根误差棒是「单个均值」的不确定性,而你要判断的是「两个均值之差」。差值的标准误是单组 SE 的 √2 倍,所以差值的区间比单臂宽约 41%。用两根单臂的重叠去代替一条差值区间,等于拿错的尺子量。
【细微】校准表(等 n、等 SE 时,自己推过一遍): - 两棒刚好接触(间隙 = 2 个半宽)→ p ≈ 0.006 - 重叠约半个半宽 → p ≈ 0.05(上例 0.56 个半宽,p=0.048) - 重叠约一个半宽 → p ≈ 0.17 也就是说,「重叠」这个视觉事实,覆盖了 p 从 0.05 到 1 的整段区间。眼睛分不出 0.048 和 0.4,但我们的措辞分得出,而且分得很自信。
【极难发现】更糟的一层:即使两根棒真的分别对应 p=0.04 和 p=0.20 两个研究,也不能说「A 有效、B 无效」。Gelman & Stern (2006, The American Statistician) 的结论是:显著与不显著之间的差异,本身并不显著。两个独立研究,一个 p=0.04、一个 p=0.20,它们的交互检验 p 可以轻松到 0.5。所以「研究 A 成功、研究 B 失败」在多数情况下不是发现,是抽样噪声被叙事化了。而分组误差棒的绘图惯例,恰好把读者的注意力钉在那个不该做的比较上:棒与棒之间。
【流程节点链路】均值与 SE → 各自 95% CI(单均值推断)→ 画成两根棒 → 读者目视比较重叠 → 得出「有无差异」结论。这条链在第三个节点就断了:单均值区间不携带差值信息,第四步的目视比较没有校准依据,第五步的结论因此不可由前四步推出。图没有说谎,是我们在要求它回答一个它没被设计来回答的问题。
【该怎么做】三条,按代价从低到高排: 1. 直接画差值及其 CI(estimation plot)。你要主张的是差值,就画差值。 2. 如果必须画分组均值,用 comparison interval(Goldstein & Healy 1995, JRSS-A):把区间画成「不重叠 ⟺ 显著」的宽度,让眼睛的默认读法变成对的。 3. 报原始尺度上的差值 + CI + n,别只报 p。Cumming & Finch (2005, American Psychologist) 那篇 “Inference by eye” 值得每个画图的人读一遍。
【留给你的问题】如果「看图读显著性」的系统性误读率这么高,该被禁的是分组误差棒,还是「把连续证据切成显著/不显著」这个动作本身?换句话说:是图错了,还是我们一直在逼图替我们做一个它做不了的判决?







0 評論