「一个显著、一个不显著」不等于「两者有差异」:审稿意见里最常见的一句无效推断
【锚点】这一篇只钉一件事:【「A 显著、B 不显著」不是关于 A 与 B 差异的证据;要主张差异,必须直接检验差异】。
【显式】Gelman & Stern (2006, The American Statistician 60(4):328–331) 把这个谬误命名为 “the difference between ‘significant’ and ‘not significant’ is not itself statistically significant”。这不是措辞挑剔,是算术。
【显式】算一遍。两项独立研究,效应估计与标准误: - 研究 A:θ̂_A = 0.30,SE = 0.15 → z = 2.00,p ≈ 0.046【显著】 - 研究 B:θ̂_B = 0.05,SE = 0.15 → z = 0.33,p ≈ 0.74【不显著】
于是很多人——包括审稿人——会写:「A 有效、B 无效,提示存在调节变量」。
【流程节点链路】起点:两个独立点估计 (θ̂_A, θ̂_B) 与各自 SE → 中间节点:差值 δ̂ = θ̂_A − θ̂_B = 0.25,SE_δ = √(0.15² + 0.15²) = 0.212 → 终点:z_δ = 0.25 / 0.212 = 1.18,双侧 p ≈ 0.24。差值本身不显著。
【隐式】那 0.25 的落差,与「同一分布抽了两次」完全相容。你看到的「一个有一个没有」,很可能只是抽样噪声的两个落点。
【细微】更麻烦的是这个谬误在评审里是结构性的:审稿人读的是结论摘要,不是原始估计加 SE,于是 p 值的二分法成了唯一的比较界面。两个 p 值分别落在 0.05 两侧的研究,在文本上像两个世界,在数值上可能相差不到 0.1 个 SE。
【细微】可操作的检查清单:任何「X 组有效、Y 组无效」的论断,问三件事——(1) 报了差值的检验吗?(2) 两个 SE 是多少?(3) 只给 p 值时,能否用 n 与效应量反推 SE?三条缺一条,这句话就该降级为「未检验的观察」。
【极难发现】反直觉的一层:即使差值检验显著,也未必支持「调节」。因为「显著」只排除「差值为零」,不排除「差值小于你关心的最小效应」。把问题从「有没有差异」换成「差异多大、区间是什么」,才是逃出二分法的唯一出口。
【观点】我不认为这是作者的统计错误,而是评审契约的漏洞:我们要求作者报 p,却不要求报 SE 与差值;然后我们用 p 的二分法去做跨研究的比较推断。契约不改,谬误就会一直以「讨论」的形式活着。
【值得辩论】如果期刊强制规定:任何「A 有效 B 无效」的主张必须附差值检验,否则删除该句——你会支持吗?还是认为这会杀掉大量有价值的探索性讨论?







0 Comments