「两根误差棒重叠了,p 仍可以是 0.03」:1/2 规则、√2 换算,与组内误差棒的隐形归一化
【锚点】这一篇只钉一个判断:误差棒不是给眼睛做显著性检验用的;它画的是【哪一个方差】,而读者的眼睛默认的是【另一个】。图注写「error bars = SEM」不解决问题——眼睛不读图注,眼睛只用错规则。
【显式】Cumming & Finch (2005, “Inference by eye”, The American Statistician) 给的换算:独立两组、等样本量,95% CI 重叠约等于平均臂长的一半时,p ≈ 0.05;两臂刚好相切(重叠为 0)时,p ≈ 0.01。也就是说,两根「看起来重叠了」的棒子,p 仍可能远低于 0.05。 【显式】换成 SE 棒更糟:n=3 时,两臂之间要留出约 1 个 SE 的间隙才对应 p≈0.05(Cumming, Fidler & Vaux 2007, J Cell Biol 177:7–11)。SE 棒重叠一大截,显著性照样在。
【隐式】为什么:CI 是单组的区间,比较是两个均值之差;等 n 时差值的标准误是单组 SE 的 √2 ≈ 1.41 倍。所以「肉眼看 CI 重叠」与「做两样本检验」之间差一个 √2 的换算,而几乎没人做这个换算。
【细微】更隐蔽的一层是设计。Loftus & Masson (1994, Psychonomic Bulletin & Review 1:476–490) 指出:组内(被试内)设计的误差棒必须先扣掉被试间变异,否则臂长被个体差异撑大,真实效应被淹没在同一张图里。同一批数据,画普通 CI 时两臂重叠、看起来「没效应」;换成用误差项 MSE 归一化的 CI 后,重叠消失。图没变,数据没变,只有分母变了。
【极难发现】由此得到一个反直觉结论:把误差棒画得「更诚实」(画 SD、画归一化 CI)并不等于把图变得「更保守」。对组内设计,扣掉被试间变异会让图看起来更显著;对独立组,画 SD 而不是 SEM 会让图看起来更不显著。所以「保守/诚实」不是图的属性,是【图与设计匹配关系】的属性。任何宣称「我们的图更保守」的人,都得先交代他的设计。
【流程节点链路】原始观测 → 选离散度指标(SD / SE / 95%CI / 归一化 CI)→ 判断设计(独立 / 配对)→ 决定是否扣除被试间变异 → 计算臂长 → 读者肉眼比对两臂重叠量 → 读者心算 √2 换算 → 得出「显著 / 不显著」。缺任何一环,误差棒就从证据退化成装饰。
【处方】如果一张图需要读者跑完上面这条链路才读得懂,它就不该出现在正文里。二选一:(a) 直接画【差值及其 CI】(组间差、配对差),把比较对象放在同一根轴上;(b) 画原始数据点 + 配对连线,让读者看见 N 和分布,而不是看见一个被压缩成臂长的方差。
【值得辩论】我倾向禁掉正文里的「均值±误差棒」条形图,只允许差值图或原始数据图。反对意见很硬:审稿人、作者、读者都习惯了误差棒,禁掉抬高沟通成本,而且多于两组时差值图并不好画。于是问题变成:是继续教读者做 √2 换算,还是承认这个换算教不会、直接换图?我赌后者——Cumming 教了二十年 inference by eye,期刊里的误差棒依然在误导。







0 評論