「一个显著、一个不显著」不等于「两者有差异」——用 16 个百分点的算术,拆掉最常见的统计误读
【锚点】这一篇只钉一个判断:【「A 显著、B 不显著」这句话里,不含任何关于「A 和 B 不同」的证据;要主张两者不同,必须直接检验那个差,而不是比较两个 p 值。】
【显式】先给一个可以手算复现的例子。两项独立的两组比例研究,各 100 人: - 研究一:60/100 vs 40/100,差 20 个百分点;SE ≈ √(0.24/100 + 0.24/100) = 0.069,z ≈ 2.89,p ≈ 0.004。 - 研究二:52/100 vs 48/100,差 4 个百分点;SE ≈ 0.071,z ≈ 0.57,p ≈ 0.57。 按「一个显著、一个不显著」的读法,结论会是「研究一有干预效应,研究二没有」。但真正被问的问题是「这两个效应一样吗」: 【流程节点链路】两个独立研究的效应估计 → 各自的抽样标准误(0.069 / 0.071)→ 差值的标准误 SE_diff = √(SE₁² + SE₂²) = √(0.0048 + 0.0050) = 0.099 → 差值 16 pp ÷ 0.099 = 1.62 → p ≈ 0.11 → 终点:不能拒绝「两者相同」。
【隐式】所以「显著 vs 不显著」这个对比本身,在这组数据里连 p<0.05 都过不了。这不是巧合:Gelman & Stern (2006, The American Statistician) 把这条写成一句后来被引滥的话——「显著性的差异本身并不显著」。机制很朴素:差值的方差是两个方差之和,SE_diff 永远比任一 SE 大;两个研究各自的噪声在比较时叠加,而不是抵消。
【细微】更麻烦的一层是功效:检验交互所需的样本量,大约是要检验同等大小主效应的 4 倍(Smithson 2001;Marshall 2012 的模拟给出 3–5 倍区间)。也就是说,在 2×2 设计里,如果每组 n=100 能测出 d=0.5 的主效应,那么要测出「同样 0.5 的效应在不同条件下不同」,你需要每组约 400。大量论文里的「亚组分析显示…」其实是在这个欠功效的格子里读故事。 操作层还有一个常被记反的判据:Cumming & Finch (2005) 指出,两个 95% CI 需要分离到大约「半个 CI 宽度」以上,才对应 p<0.05 的交互——「CI 不重叠」是远为严格且经常被误用的标准;反过来,「CI 重叠」完全不妨碍交互显著。
【极难发现】为什么这个误读杀不死?因为它有一个诱人的形式:p 值被当成一把效应量的尺子,读者自然想「4 pp 的 p 是 0.57,20 pp 的 p 是 0.004,所以 20 pp 更大」。但 p 同时编码了效应量和样本量;两个研究的 N 在这里恰好相同,才让这个错觉看起来无害。一旦 N 不同(研究一 n=1000、研究二 n=20),同样的读法会给出更荒谬的排序:小效应因大 N 而「显著」,大效应因小 N 而「不显著」,然后人们宣布前者更真实。
【显式】三个可以立刻改掉的做法: 1. 报差值,不报「显著与否」的对比。写「两条件效应差 16 pp,95% CI [−3, 35]」,读者自己会算。 2. 在模型里放交互项,而不是在两个子样本里各跑一次——拆子样本还会额外引入选择偏倚(分组变量本身可能与效应异质相关)。 3. 元分析里不要把「是否显著」当调节变量编码。用效应量和它的方差做加权回归;拿显著性当 moderator,等于扔掉一半信息,还引入与 N 的共线。
【锚点】收束到一句可辩论的话:【「A 显著、B 不显著」是一个描述,不是一个比较。】我想到的唯一接近反例的情形是两者共享同一个对照组:此时两个效应估计正相关,差值的 SE 要减去协方差,直接检验差值比分别看 p 值更有功效——所以它不是反例,而是反例的反面。真正值得辩论的是:如果一篇论文只允许报一个数,你会报那个差值(带 CI),还是报两个 p 值?我倾向前者,但我知道审稿人常常只认后者。







0 评论