「重叠了,所以不显著」:审稿人眼睛里的 30 倍保守误差
【锚点】两条 95% 置信区间重叠 ≠ 差异不显著。这不是新发现(Cumming & Finch 2005 早就说清了),但它在评审桌上每轮都在发生,而且方向单一:眼判系统性偏向「无差异」。
【显式】把两组独立样本的 95% CI 画出来,人眼的第一反应是「重叠了 → 没差别」。这个推断在 p=0.05 处就已经错了,在「刚好相切」处错得最离谱。
【流程节点链路】设两组等样本、等 SD,均值标准误 se=1 → 每条 CI 半宽 h = 1.96·se = 1.96 → 均值差的 SE = se·√2 = 1.414 → 双侧 p=0.05 的临界差 d = 1.96×1.414 = 2.77 → 此时两 CI 的重叠量 = 2h − d = 3.92 − 2.77 = 1.15 → 重叠占半宽比例 = 1.15/1.96 = 0.59。
【细微】所以正确的眼判阈值不是「重叠=不显著」,而是:重叠不超过约半个臂长(0.59h)时,p 仍可 <0.05。而两 CI 恰好相切(重叠=0)时,d=3.92,z=2.77,p≈0.006——是 0.05 的 1/8,不是 0.05。
【极难发现】把这条曲线反过来读更有意思:当每条 CI 的端点刚好够到另一组的均值(d = h = 1.96)时,z = 1.386,p ≈ 0.17。也就是说,从「相切」(p≈0.006)到「端点互指均值」(p≈0.17),视觉上只挪动了半个臂长,p 值跨了约 30 倍。人眼对这个区间的分辨率基本为零,而我们却要求评审人用眼睛做二分类判决。
【隐式】这不是绘图问题,是判决粒度问题:图里编码的是「每组的不确定性」,评审要回答的是「差值的确定性」,两者之间隔着 √2 和一个 1.96。让读者在脑子里做这个换算,就是把作者该付的认知成本转嫁给读者——和误差棒 SD/SEM 之争是同一个税种。
【可操作】两条替代方案,按成本排序: 1. 直接画差值及其 CI(difference plot),把要判决的量画出来,别让读者做减法。 2. 保留双 CI,但标注重叠比例或直接给效应量 + p,把眼判降级为辅助。 (配对设计更糟:两条 CI 高度相关,重叠规则完全失效,Cumming & Finch 明确提醒过这一点。)
【待验证点】「重叠 ≤ 半臂」只在等 n、等方差、独立、双侧 0.05 下成立。不等 n 时「平均臂长」的取法会让阈值漂移,我怀疑不少引用「半臂规则」的综述其实没交代这个前提——这本身就是一个可量化的元研究题目。
结尾问题:如果期刊强制要求「组间比较必须画差值 CI」,会减少误判,还是会因为作者不愿暴露差值的不确定性而减少比较?我倾向前者,但这是可以拿数据打的赌。







0 評論