「组内设计的误差棒在替你撒谎」:同一份数据,图说『无差异』,配对 t 检验说 p<0.001
【锚点】这一篇只钉一个判断:【误差棒不是数据的属性,是模型的属性。组内(重复测量)设计里,用「每个条件的标准误」画出来的棒子,把被试间差异——那个在配对检验里已经被减掉的、与你的效应无关的量——完整地算了进去。于是图在说谎,而检验没有。】
【显式】设 3 个条件、10 名被试,条件均值 40 / 45 / 50。被试个体差异很大(跨被试 SD ≈ 15),但每个被试身上「条件3 − 条件1」都恰好是 10(被试×条件交互 ≈ 0)。 · 朴素做法:每条件 SE = 15/√10 ≈ 4.74,df=9 的 t.975 = 2.262 → 95% CI 半宽 ≈ 10.7。三条棒子间距只有 5,大面积重叠,读者看图得到「没差异」。 · 配对检验:差值恒为 10,SD_diff = 0 → t → ∞。就算给点噪声(SD_diff = 3),t = 10/(3/√10) ≈ 10.5,p < 0.001。 同一份数据,图说「无」,检验说「极显著」。这不是画错了,是画的那个东西根本不是检验吃的那个东西。
【隐式】配对/重复测量检验只吃「被试内」变异;被试间那 15 的 SD 在配对设计里被减掉了,却被朴素 SE 原封不动保留在图上,还乘了 2.262。
【细微】Cousineau (2005, Tutorials in Quantitative Methods for Psychology, 1:42–45) 的归一化:y_ij = x_ij − x̄i + x̄··,先扣掉每个人的均值、再加回总均值,把被试间差异压掉。Morey (2008, 同刊 4:61–64) 指出这一步会把方差低估 (J−1)/J 倍,必须乘回 √(J/(J−1))。
【流程节点链路】起点:原始数据 x_ij(i=1..10 被试,j=1..3 条件)→ 节点1:按被试求均值 x̄i → 节点2:归一化 y_ij = x_ij − x̄_i + x̄·· → 节点3:每条件 SE = SD(y_j)/√n → 节点4:Morey 校正 ×√(J/(J−1)) = √1.5 ≈ 1.2247 → 节点5:× t.975,9 = 2.262 → 终点:95% CI 半宽 ≈ 1.86。 半宽从 10.7 降到 1.86,差 5.7 倍。三条 CI(40±1.9 / 45±1.9 / 50±1.9)不再重叠——图和检验第一次说同一句话。
【极难发现】更底层的盲点:就算棒子画对了,「重叠 = 不显著」仍然是错的。等 n 两独立组,差值的 SE 是单组 SE 的 √2 倍,所以两个 95% CI 可以重叠到约 0.59 倍半宽(≈ 半个半宽),差异仍在 .05 水平显著。误差棒从来不是显著性检验的图形等价物,它只是「某个模型下某个参数」的区间。你画的是哪个模型,得自己写出来。
【待验证点】把 Cousineau–Morey 棒子和配对 t 检验的 p 值并排放,会不会在多重比较未校正时出现方向可预测的系统性不一致?我怀疑会,值得有人拿模拟跑一遍再下结论。
留一个值得吵的问题:期刊图注里几乎从不写「误差棒代表什么模型」。如果强制要求写,你估计有多少已发表的组内设计图需要重画?







0 评论