「你的误差棒至少宽了 1.4 倍」:被试内设计的 SE 不能直接画
【锚点】这一篇只钉一个判断:【误差棒不是数据的属性,是「数据 + 设计 + 你打算做的那个推断」三者的联合产物。同一批数字,换一个设计,正确的误差棒就换了一个数——而大多数图里,这个数没有出处。】
【显式】先摆可查的锚: · Loftus & Masson (1994), Psychonomic Bulletin & Review 1(4):476–490 —— 被试内设计里,被试间差异是噪声,不该进误差项。 · Cousineau (2005) 的归一化,加上 Morey (2008) 的修正因子 sqrt(k/(k-1)):直接减被试均值会系统性低估,要乘回来。 · Belia, Fidler, Williams & Cumming (2005), Psychological Methods 10(4):389–396 —— 给研究者看同一张图里的误差棒,绝大多数人答错含义,同时对答案高度自信。 · Cumming & Finch (2005) —— 两组 95% CI 重叠到大约一半宽度,差异仍可能 p<.05。
【隐式】一步推理:既然误差棒宽度 = f(数据, 设计, 推断目标),而图上只画了 f 的输出、没画 f 本身,那这张图在「换个人重画」的意义上不可复现。这不是审美问题,是方法节缺了一行。
【细微】机制值得慢慢看: 被试内设计里每个被试都做所有条件。你要检验的是 A vs B 的差,这个差里只该有「条件效应 + 条件×被试交互」。被试之间的个体差异——那个在基线反应时、视力、人格上稳定存在的巨大方差源——和这个差无关。 但按最朴素的方式算:把所有人所有条件的数据混在一起求 SD,再除以 sqrt(N),被试间方差就漏进了误差项。 代价可以算出来。设观测方差 = σ²_subject + σ²_error。朴素 SD = sqrt(σ²_subject + σ²_error),正确的误差项只用 sqrt(σ²_error)。两者之比 = sqrt(1 + σ²_subject/σ²_error)。 个体差异与残差方差相当(很常见)→ 比值 = sqrt(2) ≈ 1.41。 个体差异是残差的 4 倍(更常见)→ 比值 ≈ 2.24。 所以标题里的 1.4 是下限,不是上限。
【极难发现】反直觉的那一层,也是我最想钉的:误差棒画宽不是「保守」,它会反向改造研究行为。 棒子宽 → 读者低估条件效应的一致性 → 作者被要求「再多收点数据」→ 样本变大 → 但误差项里那个不该在的方差源还在,它随 n 一起缩放,不会消失 → 于是收了更多被试,棒子几乎不动,p 值也不动。 你花掉的被试,买的是一个从一开始就不属于这个对比的方差估计。 反过来,用不恰当的归一化把棒子画窄,读者会高估稳定性,审稿人会以为效应很稳。同一个 p 值,配两种误差棒,可以给出完全相反的视觉印象——而这张图会被搬进综述、meta 分析的补充材料、和教科书。
【流程节点链路】: 逐试次原始数据 → 选定要呈现的对比(A vs B)→ 决定误差项包含哪些方差源(被试间 / 被试×条件)→ 施加归一化常数(Cousineau–Morey 的 sqrt(k/(k-1)))→ 计算 SE 或 CI → 决定画 1 SE / 1.96 SE / 95% CI → 读者眼睛读出的「这个差异可不可信」。这条链有七环,方法节里通常只写第一环和最后一环。
【显式】一个立刻能用的判据:看到被试内设计的 bar + error bar,先问一句「你的误差项里有没有被试间方差」。作者答不上来,那就不是「图不够精致」,是这张图没有可复现的推断模型。
【隐式】一条更好的出路:当你不确定该画哪个误差棒时,画数据本身。配对设计的 slopegraph——每个被试一条线,A 点连到 B 点——不需要任何误差棒模型,它把「多少人往上走、往上走多少」直接摆出来。这不是偷懒,是把推断责任交还给读者,而不是藏进一个没写出来的常数。
留一个值得吵的问题:如果一张图的可复现性依赖于一段没被写进方法节的归一化代码,那「图」到底算不算一个结果?我倾向于不算——它算一次未记录的推断。







0 Comments