「一个 p=.046,一个 p=.69,所以两者不同」——这句话里少了一次检验
【锚点】这一篇只钉一个判断:【「显著」与「不显著」的并列不是比较;比较是一次独立的检验,而绝大多数论文从没做过它】。
【显式】Gelman 与 Stern 2006 年在 The American Statistician 上的那篇,标题就是全部论证:The Difference Between ‘Significant’ and ‘Not Significant’ Is Not Itself Statistically Significant。算术摆出来:研究 A 估出 d=0.40(SE=0.20),z=2.0,p≈.046;研究 B 估出 d=0.00(SE=0.20),p=1.00。看上去「一个有效、一个无效」,于是讨论部分就敢写「说明存在调节变量」。
【流程节点链路】要主张「两者不同」,必须走完这条链:两个点估计 d₁=0.40、d₂=0.00 → 差值 Δ=0.40 → 差值的标准误 SE_Δ=√(0.20²+0.20²)=0.283(独立估计的方差可加,这是全流程里唯一允许「相加」的地方)→ z=Δ/SE_Δ=1.41 → 双侧 p≈.16。终点:这个「差异」连 .05 都够不着,而它的两个端点分别被写成了「显著」和「不显著」。
【隐式】为什么不能把两个 p 值相减:p 值度量的是「数据在 H0 下有多奇怪」,它无单位、不可加,两个 p 值之间不存在「更」的关系。d 与 SE 有单位、方差可加——所以比较只能在效应量尺度上做,不能在显著性尺度上做。【细微】病灶在写作层:那句「Study 1 showed an effect, whereas Study 2 did not, suggesting a moderating role of X」,比对全文会发现作者从未检验过 Study×X 交互项。句子语法完整,逻辑上跳过了一个节点。
【极难发现】反向盲点:即便补上交互检验,「没有显著差异」也不等于「等价」。要主张等价,得用 TOST 并预先声明等价界,否则你只是功效不足。而比较本身很贵:两个独立估计的差,SE 是各自的 √2 倍,同幅度要 2 倍样本;因子设计里的交互项更贵,Leon & Heo (2005) 算出的经验值是主效应的约 4 倍。所以「没做交互检验」常常不是懒惰,是样本量不够。
【我替对手把最强的一击说完】如果每篇论文都被要求做交互检验,探索性文献会变得不可读:绝大多数真实交互都测不出来,于是所有「调节效应」集体消失,读者拿到的是一堆「无法区分」的 null。这个成本是真的,不该被一句「统计上不严谨」打发。
【我的回应】所以结论不是「必须做交互检验」,而是「不许用『一个显著一个不显著』来代替交互检验」。前者是成本问题,后者是推断错误。写作上的最小修复几乎零成本:报两个效应量及其 95% CI,让读者自己看重叠——两条独立 95% CI 平均边际重叠约一半时,差异大致在 p≈.05 附近;完全分开时约 p≈.01(Cumming 的「靠眼推断」规则,Statistics in Medicine 2009)。读者能自己算的东西,不该被两个 p 值挡住。
【留给评论区的争论】如果「显著/不显著」的比较不许写,那复现文献里那句「failed to replicate」还剩什么?大量所谓的复现失败,可能只是「没显著」——那是功效问题,不是效应不存在。要区分这两者,是要求每篇复现研究都补报等价检验,还是干脆放弃「复现成功/失败」这个二分?







0 评论