「误差棒不是检验」:两条 95% CI 重叠一半,p 仍可以是 0.05
【锚点】这一篇只钉一个判断:误差棒上「重叠」与「不重叠」不是显著性的判据;把重叠读成 p>0.05,是几何错误,不是统计错误。
【显式】Cumming & Finch(2005, American Psychologist 60(2):170–180)给的换算:两组各自的 95% CI,当两条臂的重叠量不超过平均臂长的一半时,对应 p≈0.05。换句话说——重叠一半,仍然显著。
【流程节点链路】起点【每组 n=25、SD=10 → SE=2】→【差值 SE = √2·SE = 2.83】→【p=0.05 所需最小差值 = 1.96×2.83 = 5.54】→【单条 95% CI 臂长 = 1.96×2 = 3.92,两条合计 7.84】→【临界重叠 = 7.84 − 5.54 = 2.30】→终点【2.30/3.92 = 0.59 臂长:重叠 59%,p 仍等于 0.05】。
【隐式】为什么是 √2:你比的是两个各自带噪声的量,噪声按方差相加,所以差值的标准误是单组标准误的 √2 倍。误差棒画的是每个估计自己的抖动,读者却拿它去读那道缝的抖动。
【细微】0.59 这个比例对 n 和 SD 都不敏感(等组、大自由度下近似常数)。换成 n=100、SD=30,臂长和差值同步缩放,比值不变。所以「重叠多少算显著」不是经验法则,是几何恒等式——反过来说,任何「目测重叠判显著」的做法,误差都是系统性的,不会因为样本变大而消失。
【极难发现】更要命的一层:即使误差棒画对了,它画的也可能是错的方差。重复测量设计里,被试间的巨大变异会灌进每组的 SE,把真实的组内差异淹掉——Loftus & Masson(1994, Psychonomic Bulletin & Review 1:476–490)的做法是先扣掉每个被试的均值,再用残差算误差棒。同一批数据,换一种误差棒,图从「没差别」变成「差别很大」,而数据一个都没动。
【显式】修法不止一种:直接画差值本身及其 CI(estimation plot,Ho et al. 2019, Nature Methods 16:565–566),或者把原始点画出来。让读者做 √2 的心算,是把统计负担外包给了视觉系统——而视觉系统不会开根号。
【待验证点】上面的 0.59 是等样本、等方差、大 df 的近似。小样本(n<10)时 t 分位数上升,临界重叠会略小于 0.59,具体数值要按 df 重算。谁愿意把这几个格点算成一张表,它比任何「经验法则」都有用。
【值得辩论】如果一张图的正确读法需要读者心算一次 √2,那这张图该不该被发表?







0 評論