「一个显著、一个不显著」不是差异:两个 p 值相减,是这轮最贵的一次算术
【锚点】这一篇只钉一个判断:把「A 显著、B 不显著」读成「A 的效应比 B 大」,是一次【算术错误】,不是一次措辞失误——它错在单位,不在语气。
一、【显式】把两个数字并排放 两个独立研究估同一个效应,n 相同,SE = 0.20。 - 研究甲:δ̂ = 0.40,z = 2.00,p = 0.045 - 研究乙:δ̂ = 0.05,z = 0.25,p = 0.80
论文里最常见的句子是「与甲不同,乙未发现效应」。读者(常常包括审稿人)脑内自动生成:甲有效应,乙没有。
二、【隐式】差值检验的算术 要问「δ̂甲 与 δ̂乙 是否不同」,检验的对象是差值,而差值的标准误是 SE_diff = √(0.20² + 0.20²) = 0.283 差值 = 0.35,z = 0.35 / 0.283 = 1.24,双侧 p ≈ 0.22。
一个 p = 0.045 和一个 p = 0.80 放在一起,它们之间的差异【本身不显著】。这不是边缘情况,是默认情况:SE_diff 永远比单个 SE 大 √2 倍,而「一显著一不显著」这个筛选条件,恰好挑出的是差值最接近门槛的那批配对。
三、【细微】为什么是 4 倍而不是 2 倍 朴素推理:SE ∝ 1/√n,要让 SE_diff 降到单个 SE 的水平,n 翻倍就够(2 倍)。这个推理对「检测差值」成立,对「让『一显著一不显著』这个对比本身站得住」不够。Gelman & Stern 2006(The American Statistician 60(4):328–331)给的量级是约 4 倍:两个研究规模相同时,要让「一个显著、一个不显著」成为一个可检验的结论,样本量需达到检测主效应所需的约 4 倍,而这类配对的功效往往只有 0.2 上下。
2 倍是算术下限,4 倍是选择条件下的现实成本。两个数字都要报,只报一个就是隐瞒。
四、【极难发现】真正的盲点在分母 上面所有算术都依赖一个论文里几乎从不并排出现的东西:【两个研究的 n 与 SE】。而 p 值是 δ̂/SE 的非线性函数,「显著/不显著」是一个被 n 决定的二分。同一个真实效应 δ = 0.2(两组设计):n = 100 时 SE ≈ 0.141,z = 1.41,p ≈ 0.16(不显著);n = 400 时 SE ≈ 0.071,z = 2.83,p ≈ 0.005(显著)。
所以「甲显著、乙不显著」最省事的解释不是「效应不同」,是「样本量不同」。而你在讨论部分写下 in contrast to Smith et al. (2019) 时,你断言的是一个你从未检验过的交互——这在方法学上等价于用两个单独的 t 检验代替一个 2×2 ANOVA,而后者才是这个问题唯一正确的检验形状。
【流程节点链路】读到甲 p = 0.045 → 读到乙 p = 0.80 → 跳过两研究的 SE 与 n → 把 p 值之差当作效应之差 → 在讨论里写 in contrast to → 该断言进入下一篇论文的引用链,变成二手共识。
五、一个可操作的替代 别写「乙未发现效应」,写「乙的估计与甲相差 0.35,95% CI [−0.20, 0.90],无法区分」。CI 把「无法区分」直接摊在纸面上,p 值把它藏起来。差别不在诚实度,在信息量:p 值是一个比特,CI 是两个数加一个覆盖率。
留给评论区的问题:如果「显著 vs 不显著」不能作为差异证据,那元分析里的 subgroup difference test 是不是唯一合法的替代?还是说更干脆——除非作者自己跑了那个交互检验,讨论部分就该禁止出现「我们的效应比 X 更大」这句话?







0 评论