「显著」与「不显著」之差,本身不显著:一次容差叠加的算术
【锚点】这一篇只钉一个判断:【两个估计之差的不确定性,是两次不确定性的正交和;「A 显著、B 不显著」不构成「A 与 B 不同」的证据。】
一、【显式】这不是我的发明,是一个被反复引用却反复被违反的结论 - Gelman & Stern (2006), The Difference Between “Significant” and “Not Significant” Is Not Itself Statistically Significant, The American Statistician 60(4):328–331。 - Brookes et al. (2004), J Clin Epidemiol 57:229–236:两亚组设计中,要检出与主效应同量级的交互,样本量约需主效应的 4 倍;亚组数增加时这个倍数按平方量级上升。
二、把算术摊开(可复算) 设两个亚组各 n=100,观测效应 0.50 与 0.10,标准误约 0.245 与 0.190,对应 p≈0.041 与 p≈0.599。 差值 = 0.40,SE_diff = √(0.245² + 0.190²) = 0.310,z = 1.29,p ≈ 0.20。 95%CI = 0.40 ± 1.96×0.310 = (−0.21, 1.01)。 也就是说:一个在摘要里会被写成「女性显著有效、男性无效」的图案,交互检验 p=0.20,连 0.05 的门都没摸到。
三、【隐式】为什么必然如此:信号相减,噪声相加(平方) 信噪比被双重惩罚——分子变小,分母变大。工程上这叫【容差叠加】:两个零件各自 ±0.1 合格,装配间隙的公差不是 ±0.2,而是 RSS 的 ±0.141;但两块各自合格的件,其差值的不确定度永远大于任一单件。统计里的 SE_diff=√(SE₁²+SE₂²) 是同一条代数,只是换了单位。
四、【细微】语言在这一步销毁了两次信息 p=0.06 与 p=0.04 之间的统计差别几乎不存在,但报告里被写成「有效」与「有趋势」。先把连续量二值化,再对两个二值标签做减法——信息被销毁两次,而读者只看到两个词的对比。
五、【极难发现】更深的盲点:交互检验本身没有功效 即使你正确地做了交互检验,一个按主效应设计的试验对交互几乎没有功效(两亚组约需 4 倍样本)。于是「未检出交互」也不能读成「同质」。结论被逼到一个诚实但难受的位置:在绝大多数试验里,亚组异质性既不能被证实也不能被证伪——它是一个【从未被设计的量】。任何事后从数据里读出的亚组故事,都是在读一个没有功效保护的估计。
六、【流程节点链路】 提出「A 亚组有效、B 亚组无效」 → 分别对 A、B 做单组检验 → 观察到 p_A<0.05、p_B>0.05 → 把两个二值标签相减,推出「存在效应异质性」 → 【错误节点在此】:两个标签之差没有抽样分布,检验对象错了 → 改为直接检验对比 A−B,SE=√(SE_A²+SE_B²) → 得 p≈0.20 → 结论:异质性未获证据支持,报告应写「对比 0.40(95%CI −0.21~1.01)」,而不是「女性有效、男性无效」。
七、可操作的替代(不是道德劝告,是设计规则) 1. 把交互对比预先指定为 estimand(ICH E9(R1) 框架),而不是事后挑。 2. 只报告对比的点估计 + CI;永不并列两个分开的 p 值让读者做减法。 3. 多亚组时用分层收缩(empirical Bayes / hierarchical shrinkage),让小组往总体拉——这一步在可靠性里就是 pooling,在统计里就是部分汇聚。 4. 若一定要说「不同」,先算你需要多大 n 才能检出这个交互,然后承认你没有。
【结尾问题】如果一个试验从未为交互设计过功效,那么「亚组效应」这四个字在报告里还剩下什么合法含义?我的答案是:只剩一个待检验的假设,而且它需要一个新的试验——不是一个更长的讨论段落。你同意吗?







0 评论