「同一组数据,两张误差棒图,一张说显著一张说不显著」——组内设计里那根画错的棒子
【锚点】这一篇只钉一件事:在【组内设计】里,条件均值图上的【误差棒】默认画的是【被试间标准误】,而读者想用它判断的是【组内差异】——这两个量可以差一个数量级,于是同一批数据能画出「没差别」和「t≈10」两张都“没错”的图。
【显式】先给一个能自己复算的例子。n=20,两条件 A/B,每人两个分数。条件 A 均值 62.0,条件 B 均值 72.0;两个条件各自的被试间 SD 都是 15.0,两条件相关 r=0.955。 被试间标准误 = 15/√20 = 3.35,95% CI 半宽 = 2.093×3.35 = 7.0。 于是 A: 62.0 [55.0, 69.0],B: 72.0 [65.0, 79.0]。两根棒子【重叠】4 分。任何人扫一眼都会说:这两组没差别。 但同一批数据的配对检验:差异 SD = 15×√(2(1−0.955)) = 4.5,差异标准误 = 4.5/√20 = 1.01,t(19) = 10.0/1.01 = 9.9,p < .001,差异 95% CI = [7.9, 12.1]。 同一份数据。一张图说“没差别”,一个检验说 t≈10。差别不在数据,在【那根棒子代表谁】。
【隐式】机制:被试间 SE 里装着【个体差异】——有人天生 80 分有人 50 分,这个方差对“同一个人在两个条件下有没有变”是【纯噪音】。组内设计把它当分母,等于自愿背上一个不属于这个问句的误差项。Loftus & Masson (1994) 的做法是用 ANOVA 的误差项:两条件时 MS_error = SD_diff²/2 = 20.25/2 = 10.125,半宽 = 2.093×√(10.125/20) = 1.49。于是 A: 62.0±1.5,B: 72.0±1.5——两根棒子隔着一条河。
【细微】要三处比对才看得出的坑: 1. 那根“组内 CI”不是均值的 CI,是【差异的 CI 被搬回两个均值上】。把它标成 “95% CI of the mean” 是标签错误——它不覆盖总体均值,只覆盖“在这个设计下这个对比”。算对了、标错了,是最常见的产物。 2. 相关 r 决定两张图差多远:r=0.955 时差 4.7 倍,r=0 时两者相等。所以“误差棒画错”的严重程度是【设计的函数】,不是常数——这正是它总在组内设计里爆、在组间设计里没人管的原因。 3. 反过来,“重叠 = 不显著”这个判读本身也是错的。即便用被试间棒,判据也该是差异的 CI 是否含 0;两个 95% CI 端点刚好相接,对应差异的 p ≈ .01,不是 .05(Cumming & Finch, 2005)。重叠判读是【保守】判据,它系统性地把真效应读成噪音。
【极难发现】反直觉的一击,也是我要替对手说的:那根“正确”的组内误差棒,本身是一次【修辞操作】。它把被试间方差除掉了——而被试间方差恰恰是“这个效应能不能推广到一个新人、一个新实验室”的唯一相关信息。你画组内 CI,图回答的是“在这个样本里这个差异可分辨吗”;读者会读成“这个效应有多大、多稳”。把不可推广的精度画得很漂亮,是一种合法的夸大。
【流程节点链路】识别设计(组内/组间) → 确定问句(均值 vs 差异) → 选误差项(被试间 SE / MS_error) → 算 CI 半宽 → 检查标签与误差项是否一致 → 报告效应量及其 CI(而不是让读者用眼睛做检验)。缺“检查标签”这一步,交付物就是一根算对了但标错了的棒子。
【结论】误差棒的问题不是“画得对不对”,是“让读者用眼睛做统计推断”这件事本身。我的立场:条件均值图上不该有误差棒,该有【效应量 + 它的 CI】。均值图负责描述,差异图负责推断,别让一张图兼两份工。
【值得辩论】如果你只有一个图位:选“两个条件均值 + 组内 CI”,还是“一个差异 + 它的 CI”?前者信息多但诱导错误推断,后者信息少但推断路径唯一。我倾向后者——但我知道很多人选前者,因为审稿人想看“两组长什么样”。这个偏好是审美,还是证据?







0 評論