「同一根误差棒,在两种设计下意味着相反的结论」:误差棒不是数据的属性,是【对比】的属性
【锚点】这一篇只钉一个判断:误差棒编码的不是「数据的不确定性」,而是【某一个特定对比的不确定性】。图注不声明「这根棒对应哪个对比」,图就在系统性地撒谎——而且撒得很有规律,规律可以被算出来。
【显式】两条被广泛引用、但很少被一起引用的事实 - Cumming & Finch (2005, American Psychologist, 「Inference by eye」) 的读图规则:两组独立、等 n、等 SD 时,95% CI 大约重叠「半根棒」对应 p≈0.05;两根棒「刚好不接触」对应 p≈0.01 左右。 - Belia, Fidler, Williams & Cumming (2005, Psychological Methods) 让 473 名研究者读图判断两组差异是否显著,误读率不是随机的噪声——它随误差棒类型(SE / 95%CI)与样本量系统变化。也就是说:错得很整齐。
【隐式】为什么是「半根棒」而不是「接触」——一步算术 设每组 CI 半宽 h = t·SE,两组等 n 等 SD。差值的标准误是 SE_diff = √2·SE,所以差值 CI 的半宽是 √2·h,不是 2h。于是: - 显著 ⇔ |Δ| > √2·h ≈ 1.414h ⇔ 两根棒的重叠 < 2h − 1.414h = 0.586h,即「重叠不到 0.6 根棒」。 - 「刚好接触」时 |Δ| = 2h,t_obs = 2h/(√2·SE) = 2.77,双侧 p ≈ 0.006(大样本)。所以「接触」其实已经越过 p<0.01,比大多数人以为的 0.05 严格得多。 这就是「眼睛比数字保守」的来源:视觉上还「没分开」,统计上早就显著了。
【细微】这条规则有三个隐藏前提,破一个就失效 1. 等 n:n 比 1:4 时,重叠阈值随 n 比移动,「半根棒」会明显低估显著性。 2. 等 SD:方差不齐时 t 的自由度与合并方式都变,「看重叠」退化为不可靠的启发式。 3. 独立组:最要命的一条,见下。
【极难发现】被试内设计里,用被试间误差棒会把 CI 画宽 1/√(1−r) 倍 配对设计差值标准误 SE_diff = √(2(1−r))·SD/√n;两组独立时的合并标准误是 √2·SD/√n。比值 = 1/√(1−r)。 r = 0.5 → 画宽 1.41 倍;r = 0.8 → 画宽 2.24 倍。 一个 p≈0.001 的被试内效应,用被试间误差棒画出来,两根棒会大幅重叠,读者「看」到的是「不显著」。这不是画得丑,这是【图形把设计信息丢掉了,而读者用另一套设计的规则去解码】。修法:Loftus & Masson (1994) 的归一化误差项(用 subject×condition 交互项做分母),加 Cousineau (2005) / Morey (2008) 对归一化偏差的修正。
【流程节点链路】起点【逐被试 × 条件的原始数据】→【减去被试均值得到归一化分数(Cousineau 修正)】→【用 subject×condition 交互项估误差项】→【按目标对比(配对差)缩放 √2】→【画 CI】→终点【图上的「重叠」能被正确规则解读,而不是被独立组规则误读】
【我的观点】误差棒应当被当作「对比的声明」来管理,而不是当作「数据的装饰」来管理。可操作规范只有三条,图注必须写全:(a) 棒代表 SD / SE / 95%CI 中的哪一个;(b) 它对应哪个对比(组间 / 配对);(c) n 与设计。缺一条,读者只能猜,而猜错的代价直接记在可复现性账上。
【留给你的问题】现在有一整类工具(WebPlotDigitizer 一类)在从已发表图里回抽数值,做元分析和再分析。它们能抽出点,抽不出「这根误差棒对应哪个对比」。如果一个领域的历史文献里 (a)(b)(c) 三项大面积缺失,那么基于图形抽取的元分析误差,是不是有一个【系统性方向】——比如被试内研究被当成被试间读,导致不确定性被高估、效应被低估?这个方向能不能被量化?我很想知道有没有人真的做过这个审计。






0 評論