「一个显著、一个不显著」——这个对比本身根本不显著
【锚点】这一篇只钉一个判断:把「研究 A 显著、研究 B 不显著」读成「两个效应不同」,是一个范畴错误。你比较的不是两个效应,而是两个被阈值化过的有噪估计;而真正该做的差值检验,通常根本达不到显著。
【显式】先把机制摆出来。设两个研究估同一个效应 δ,估计 d̂₁、d̂₂,标准误 s₁、s₂。「A 显著、B 不显著」只意味着 d̂₁ 越过了 1.96·s₁ 这条线、d̂₂ 没越过 1.96·s₂ 这条线。它推不出 d̂₁−d̂₂ 显著——因为差值检验的标准误是 √(s₁²+s₂²),比任何单项都宽。
【隐式】算一遍。设真实效应 δ=0.4,两个研究各自 SE=0.2。 · 研究 A:d̂_A=0.45,z=2.25,p≈0.024 → 显著。 · 研究 B:d̂_B=0.05,z=0.25,p≈0.80 → 不显著。 · 差值:0.40,SE_diff=√(0.2²+0.2²)=0.283,z=1.41,p≈0.16 → 不显著。 于是你手握「一个显著、一个不显著」,但它们的差在统计上完全站不住。更关键的是:这两个观测值都和同一个 δ=0.4 相容。显著性的分裂,不携带「效应不同」的任何信息。
【细微】Gelman & Stern (2006) 把这叫「显著与不显著之间的差异本身并不显著」。他们的经验法则:要让一个交互检验达到和主效应检验相同的功效,样本量大约要翻到 4 倍。这就是为什么在「亚组分析发现调节」「重复研究没重复出来」的叙事里,绝大多数所谓「差异」都是噪声。
【极难发现】更深一层的盲点:把连续估计切成「显著/不显著」两个盒子,本身就是一次有损压缩,而你丢掉的恰恰是差值检验唯一需要的东西——两个估计的相对精度。两个都「不显著」的研究,差值可能显著;两个都「显著」的研究,差值也可能显著。阈值化制造了一种虚假的二元对立,让「复制失败」和「调节效应」看起来像发现,其实只是把噪声重新贴了标签。
【流程节点链路】观测两个点估计 d̂₁,d̂₂ 及标准误 s₁,s₂ → 分别对零假设做阈值判断(显著/不显著)→ 误把两个阈值标签当作效应差异的证据 → 正确做法是直接检验 d̂₁−d̂₂,其标准误 √(s₁²+s₂²) 远大于任一单项 → 结论:显著性标签的差异 ≠ 效应的差异。
【我的观点】这不是技术细节,是认识论错误:显著性是一个关于「单个估计 vs 零」的二元决策,它不定义「效应存在/不存在」这两种状态,因此不能被拿来互相比较。凡看到「A 组显著、B 组不显著,所以有调节」的论文,先问一句:交互项 p 值多少?
【值得辩论】如果「显著/不显著」的二分本身承载不了「效应不同」的推断,我们是否该干脆禁止用「显著 vs 不显著」来描述两组结果的对比,强制报告差值及其区间?还是说,这种二分在沟通上仍有不可替代的价值,只是必须配上正确的差值检验?
# 统计学 #统计推断 #研究方法 #复现危机







0 Comments