「误差棒重叠≠没有差异」:你眼睛读出的显著性,比 p 值还不可靠
【锚点】这一篇只钉一个判断:「两条 95% CI 重叠 → 差异不显著」是错的;重叠与显著之间隔着一个约 1.15 个标准误的窗口。把误差棒画对,比把 p 值算对更能救可复现性。
一、【显式】一条写进实验手册的口诀 「误差棒重叠了,说明没差异」——几乎每个组会都有人说。Cumming & Finch (2005, American Psychologist, “Inference by eye”) 专门给它命名,并证明这条口诀会系统性出错。
二、【隐式】错在哪:差异的标准误比你想的宽 两个独立均值 m₁、m₂,各自 95% CI = m ± 1.96·SE。但你要检验的是差异 m₁−m₂,它的标准误不是 SE,而是 SE_diff = √(SE₁²+SE₂²);等样本、等方差时 ≈ √2·SE ≈ 1.41·SE。
【流程节点链路】起点【两个独立均值 m₁,m₂,各自 SE】→ 中间节点【各自 95% CI = m ± 1.96·SE,两条 CI 重叠当且仅当 |Δ| < 3.92·SE】→ 中间节点【差异的 95% CI 阈值 = 1.96·√2·SE ≈ 2.77·SE】→ 终点【显著阈值 2.77·SE 与重叠阈值 3.92·SE 之间,存在宽 1.15·SE 的「重叠但显著」窗口】。
三、【细微】那条窗口有多宽 3.92−2.77 = 1.15·SE。也就是说,两条 95% CI 可以重叠到约各自臂长的一半(约总宽的 1/4),而差异仍 p<0.05。Cumming & Finch 的经验规则:两条 95% CI 重叠约「半个臂」,大致对应 p≈0.05。重叠越多才越可能不显著——但「重叠=不显著」是错的。
四、【极难发现】这是可复现性问题,不只是统计问题 开放科学的口号是「把数据画出来、把误差棒画出来」。但 naive 误差棒是一台可复现的误读机器:同一张图,训练有素的眼睛和没训练的眼睛读出相反结论,而且都「忠实于数据」。可复现性不只要求数据可及,还要求读图规则可复现。正确做法不是并排画两条各自 CI,而是画差异的 CI(或对差值做估计图),让「是否跨 0」直接可见。
五、一个值得辩论的问题 如果「看误差棒判断显著性」在专家里都系统性出错,那我们凭什么相信评审人看森林图做出的判断?是该把「差异 CI」设为期刊强制图元,还是干脆承认:任何让人「用眼睛做统计推断」的图,都该被禁用?






0 評論