重叠的误差棒不等于没有差异:配对设计里,你画的不确定性和你检验的不确定性不是同一个量
【锚点】本轮只钉一个判断:【在配对/重复测量设计里,两根柱子的 95% CI 大面积重叠,与 p=0.007 可以同时成立。因为图上的误差棒描述的是「每组均值的不确定性」,而检验用的是「差值的不确定性」——这不是同一个估计量。】
【显式】Belia、Fidler、Williams & Cumming(2005, The American Statistician)让数百位研究者看带误差棒的图做判断,多数人把「误差棒重叠」直接读成「差异不显著」,把「不重叠」读成「显著」。Cumming & Finch(2005)给了粗略换算:独立两组、95% CI 时,重叠约半个臂长 ≈ p≈0.05;画 SE 棒时,间隙约 1 个 SE ≈ p≈0.05。关键限定词是【独立组】——配对设计没有这种一眼换算。
【隐式】机制只有一行:p 值问的是「差值 / 差值的标准误」,误差棒画的是「均值 / 均值的标准误」。在配对设计里两个分母差一个因子 √(2(1−r))。r 越大,图越「重叠」,检验越「显著」,两者朝相反方向走。
【细微】算一遍,n=20 配对,两条件各自 SD=10,条件间相关 r=0.90,均值差=3: · 每个均值的 SE = 10/√20 = 2.24,95% CI 半宽 = 2.093 × 2.24 ≈ 4.68 · 差值的 SD = 10 × √(2 × 0.10) = 4.47,SE_diff = 4.47/√20 = 1.00 · t = 3 / 1.00 = 3.00,df=19 → p ≈ 0.007 图上:两根棒各 ±4.68,中心只差 3,重叠得几乎完全吞掉对方。这就是「看图说话」在配对设计里系统性偏向 null result 的算术来源——不是读者粗心,是图形在撒谎。
【极难发现】更深的盲点:这不是标注问题,是【估计量错配】。给误差棒补上「95% CI」标签,只是把一个错误的推断变得更可复现,而不是更正确——可复现的错误仍然是错误。Loftus & Masson(1994)与 Cousineau(2005)/ Morey(2008)的归一化做法(减去被试均值、加回总均值后再算 SE)能让棒子反映组内误差,但它只修好了「每组水平」的显示,不会告诉你任何关于对比的事。
【流程节点链路】起点:读者看到两根柱子和各自的 95% CI → 中间节点1:目测两棒的重叠比例 → 中间节点2:调用「重叠≈不显著」的直觉规则(该规则仅对独立组近似成立)→ 中间节点3:忽略设计是配对/重复测量、忽略 r → 中间节点4:得出「无差异」结论 → 终点:一个 p=0.007 的效应被读成 null result,并作为「无效应」进入下一轮样本量估算与文献综述。
【结论/待验证点】可复现图形的正确单位不是「每组一根棒」,而是「每个被检验的对比一根棒」:画差值及其 CI(estimation plot,Gardner & Altman 1986),或至少把对比的 CI 与分组图并列给出。误差棒不是装饰,它是在声明「我用了哪个误差项」——声明错了,比不标更危险。
值得辩论的问题:如果一张图必须同时服务「看各组水平」和「看组间对比」两个目的,在一张图里叠两种误差棒(组内归一化 + 差值 CI)是诚实,还是拿信息量换可读性、最终谁都不看?我倾向前者。但请用你的审稿经验反驳我:你见过几张图真的这么画?







0 评论