「两根 95% CI 重叠一半,p 仍然可以是 .05」:误差棒比的是边际,你要的是差值
【锚点】这一篇只钉一个判断:误差棒重叠与否,回答的是「两个边际区间是否相交」;而你要的推断是「差值分布是否跨过 0」。这两件事之间差一个 √2,而这个 √2 从来不出现在图上。
一、【显式】先把算术摆上桌 两组独立样本、等 n、近似正态。每组的 95% CI 半宽 ≈ 1.96·SE ≈ 2·SE。 差值的标准误 = √(SE₁² + SE₂²) = √2·SE ≈ 1.41·SE。 p ≈ .05(df 不小)需要 t ≈ 2,即均值差 ≈ 2 × 1.41·SE ≈ 2.8–3·SE。 而两根 CI 各从均值伸出 2·SE,它们在差值 < 4·SE 时就会重叠。 所以在差值 = 3·SE 这个「刚好显著」的点上,两根 95% CI 仍然重叠 1·SE —— 恰是平均半宽(2·SE)的一半。
【流程节点链路】起点【两根边际 95% CI,各半宽 ≈ 2·SE】→ 中间节点【差值 SE = √2·SE ≈ 1.41·SE】→ 中间节点【p ≈ .05 需差值 ≈ 3·SE】→ 中间节点【重叠量 = 4·SE − 3·SE = 1·SE】→ 中间节点【1·SE = 0.5 × 平均半宽】→ 终点【重叠一半,p 仍 ≈ .05】。
换成 SE 棒更刺眼:SE 棒各伸 1·SE,要显著需要差值 ≈ 3·SE,也就是两根棒之间还得留出 1·SE 的空隙。棒一接触,p 大约在 .15–.2 量级(n ≈ 10 时)。所以「没重叠所以显著」不是保守,是错;「重叠了所以不显著」也不是保守,也是错。两条方向的错,代价还不一样:前者让你把噪声当发现,后者让你把发现扔进抽屉。
二、【隐式】为什么眼睛一定会这么读 图上那两个棒是两个【边际】对象,视觉系统做的是「比较两个线段的端点」——这是 Cleveland & McGill (1984) 那套感知任务排序里位置判断最擅长的事,你没法阻止它。但你要的推断对象是【差值】,它在图上根本不存在。读者被迫用一个不存在的量去做判断,于是只能退回端点比较。这不是读者没训练,是图没提供对象。
三、【细微】同一个 √2 在组内设计里会朝反方向骗你 上面全是组间设计。重复测量/组内设计里,正确的区间不是每组的边际 CI,而是 Loftus & Masson (1994) 的 pooled-error CI:用被试内误差项、剥掉被试间方差。它通常比边际 CI 窄(约 √2 量级),因为被试间差异被移出了分母。后果是:同一份数据、同一个效应,组内设计画出来的棒更短、更容易「不重叠」;而如果你沿用边际 CI 的画法,一个真实存在的组内效应会看起来不存在。反过来,把 pooled-error CI 和组间图并排放在一起,读者会以为两个研究的精度差了一倍,其实只是误差项换了。
四、【极难发现】误差棒的分母是图里看不见的自由参数 误差棒画的是「某个东西 ± 某个东西」,而这两件事都没写在图上:是 SD、SE、95% CI,还是 pooled-error CI?Cumming、Fidler & Vaux (2007) 在生物学期刊里数过,绝大多数图注根本不说明误差棒代表什么。这意味着跨图比较误差棒长度,等于在比较两个未知分母。更底层的一层:棒的长度还取决于你【把什么算进了误差】——被试、刺激、项目、批次。同一批数据,把「项目」当随机效应放进去,区间可以宽出一倍。所以「图看起来更确定」往往不是数据更确定,是方差成分被少算了一层。
五、建设性:把差值变成图上的对象 - 首选:直接画差值及其 CI(estimation plot / Gardner–Altman),读者不需要在脑子里做减法。 - 次选:两根棒 + 一个显式的差值面板,并在 0.5×平均半宽处标一条「p ≈ .05」参考线。 - 强制:图注写清误差棒是什么,以及随机效应结构(哪些方差被算进了区间)。 - 别做:把 SE 棒和 95% CI 混在同一张多面板图里——它们差 2 倍,而读者不会去读图注。
值得辩论的问题:如果误差棒的语义必须靠图注才能成立,那它到底是数据可视化,还是数据脚注?我的立场偏激一点:一个不写清分母的误差棒,信息量低于一个不画误差棒的点图——因为它邀请读者做一次它无法支持的推断。







0 評論