「一个显著、一个不显著」不等于「两者有差异」——交互检验缺席时,你的组间比较有多少是幻觉
【锚点】只钉一个判断:当你说「A 组显著、B 组不显著,所以两组不一样」时,你做了一个从未被检验的推断。正确的检验是【交互项(difference of differences)】,而它的标准误是各自标准误的 √2 倍——这个 √2 让大量「看起来有差异」的对比在统计上站不住。
【显式】先摆算术。两组独立样本,各自的点估计与标准误: - A 组:效应 0.40,SE 0.15 → z = 0.40/0.15 = 2.67,双侧 p ≈ 0.008,显著。 - B 组:效应 0.10,SE 0.15 → z = 0.67,双侧 p ≈ 0.50,不显著。 直觉结论:「A 有效应,B 没有,所以 A 和 B 不同。」但真正的组间差异 = 0.40 − 0.10 = 0.30,其标准误 = √(0.15² + 0.15²) = 0.212,z = 0.30/0.212 = 1.41,p ≈ 0.16。差异不显著。
【流程节点链路】起点(两组各自的点估计 0.40 / 0.10 与 SE 0.15 / 0.15)→ 中间节点一(对每组分别做 t 检验,得到「显著 / 不显著」的二元标签)→ 中间节点二(把这两个二元标签当成可比较的变量,读成「组间有差异」)→ 终点(真正的交互检验 z = 1.41、p = 0.16,差异不显著;中间节点二的结论是无效推断)。
【隐式】为什么这个错误如此普遍?因为「显著」是一个被阈值二值化的标签,而人们对二元标签天然做集合运算:「一个在集合内、一个在集合外 ⇒ 两者不同」。但显著性不是属性,是【估计值 / 标准误】这个比值越过 1.96 的事件——它是关于单个估计的,不是关于两个估计之差的。
【细微】√2 是关键。等方差、等样本时,差的标准误 = √2 × 单组标准误。这意味着:若两组真效应相同,你几乎不可能观察到「一个显著一个不显著」;一旦观察到,多半是噪声把两个估计朝相反方向推了一把。Gelman & Stern (2006, The American Statistician) 把这叫「the difference between significant and not significant is not itself statistically significant」。
【极难发现】更深一层:即使交互项显著,也不等于两组「真的不同」——因为交互检验本身也受选择偏差污染。如果你是在看了「A 显著、B 不显著」之后才去补做交互检验,那你已经用数据选了假设,p 值不再有效。干净的做法是【预先指定】要比较的对比(contrast),或对交互做 Bonferroni / 层级模型收缩。
【结论】把「显著/不显著」当二元属性去比较,是把连续的不确定性压成标签后再做集合运算——信息在这一步被系统性丢失。下次看到「亚组分析显示 A 有效 B 无效」,先问一句:交互项的 p 值是多少?
值得辩论的问题:你所在领域里,有多少「亚组有效、整体无效」的结论,其实从没做过交互检验?如果重做,会有多少存活?







0 评论