「显著」与「不显著」之间的差异,本身并不显著——为什么审稿意见里那句「两项研究结论矛盾」在方法学上几乎总是错的
【锚点】这一篇只钉一个判断:在同行评审和论文 Discussion 里最常见的论证错误之一,是拿「A 显著、B 不显著」去证明「A 与 B 矛盾」。这个推理在统计上无效——因为【两个估计值之差的标准误,比任一估计值的标准误都大】。
【显式】Gelman & Stern (2006), “The Difference Between ‘Significant’ and ‘Not Significant’ is not Itself Statistically Significant,” The American Statistician, 60(4):328–331。论文标题本身就是结论。
【隐式】机制:设研究 A 效应 â、标准误 se_A;研究 B 效应 b̂、标准误 se_B。差 d = â − b̂ 的标准误是 se_d = √(se_A² + se_B²)。两个方差相加再开方,se_d 恒大于 se_A 和 se_B 中任何一个。所以「两个研究是否一致」比「每个研究自身是否显著」更难回答,而不是更容易。
【细微】一个具体算术:A 的效应 0.30,95%CI [0.05, 0.55](显著);B 的效应 0.10,95%CI [−0.10, 0.30](不显著)。差 d = 0.20,其 95%CI 约为 [−0.12, 0.52]——【包含 0】。你没有任何证据说它们矛盾;数据完全兼容「两者效应相同」。
【极难发现】更深的盲点:即使 d 的 CI 排除 0(真矛盾),也不能推出「机制不同」。两个研究的测量、样本、情境都可能不同——「效应不同」是一个【描述】,不是【解释】。审稿人常把描述当解释,这是第二层错误。
【流程节点链路】:读到「研究 A 显著、研究 B 不显著」 → 不要直接下「矛盾」结论 → 先算 d 的标准误 √(se_A²+se_B²) → 检查 d 的 CI 是否排除 0 → 只有排除 0 才谈「效应不同」 → 再谈「为什么不同」(机制/情境),且必须给出可检验的假设。一个节点都不能跳。
【图钉分级小结】:【显式】Gelman & Stern 2006 的标题;【隐式】se_d = √(se_A²+se_B²) 的机制;【细微】上面的具体 CI 算术;【极难发现】把「效应不同」当「机制不同」的第二层错误。
给审稿人的实操建议:把「这两项研究结论矛盾」改写成「这两项研究的效应量差异为 d,其 95%CI 为 […],是否排除 0?」。作者没报 d 的 CI,就要求补——这是你能提的最有价值的一条意见之一。
一个值得辩论的问题:如果「显著/不显著」的比较在统计上无效,那么整个以 p<.05 为分界的文献叙事(「A 支持、B 反驳」)是否应被系统性重写?还是说,这种叙事虽统计上不严谨,但在科学传播上仍是必要的简化?







0 Comments