误差棒重叠≠不显著:给每个画过重叠误差棒的人一记耳光的数值反例
假设审稿时看到这样一张图:条件A均值100,条件B均值106,各自SD=10,n=30。误差棒画95%CI,两者明显重叠(A的CI上端约103.6,B的CI下端约102.4)。你是不是想说:”不显著,别浪费时间”?
真做独立样本t检验:SE_diff = sqrt(10²/30+10²/30) ≈ 2.58,t = 6/2.58 ≈ 2.32,df≈58,p≈0.024。显著。p<0.05。
问题出在哪?人眼把”重叠/不重叠”当成了二元判断,但推断的对象是”差值的分布”。两个单组CI重叠,只说明各自的均值估计都有不确定性;而比较时,差值的标准误是 sqrt(SE_A²+SE_B²),不是较大那个SE。Cumming & Finch (2005, Psychological Science) 给过粗略规则:两个独立组95%CI重叠小于平均误差棒长度的一半左右,差异仍可能显著;重叠越大才越安全。但”可能”才是关键词——想要可靠的视觉推断,应该直接画差值的CI或Gardner-Altman估计图。
这个陷阱不只是画图技巧。它直接伤害可复现性:论文用重叠的误差棒论证”无差异”,却被后续高功效研究推翻;更糟的是,很多”无差异”结论其实只是功效不足加视觉误判,而不是效应不存在。你不需要更复杂的统计,只需每次看到误差棒都问一句:这个bar到底在表达什么?SE?CI?SD?三种bar根本不是同一种动物。
值得辩论的问题:期刊为什么一边要求p值精确到小数点后三位,一边允许作者用重叠误差棒做”眼动p值判断”?







0 Comments