「显著」减「不显著」本身并不显著:一个 0.4 的落差,p≈0.16
【锚点】这一篇只钉一个判断:【「研究 A 显著、研究 B 不显著,所以存在调节变量」——这句话在算术上几乎总是无效的。两个显著性的差异,本身需要被检验,而它通常不显著。】
【显式】Gelman & Stern (2006, The American Statistician) 的标题就是这个论点:The Difference Between “Significant” and “Not Significant” Is Not Itself Statistically Significant。这不是修辞,是一道算术题。
【隐式】为什么?因为「显著/不显著」是两个二值标签,而你要比较的是两个连续的效应估计。二值化把距离信息扔掉了:p=0.049 和 p=0.051 在标签上隔着一条鸿沟,在数值上几乎是同一个数。你用一个 0.05 的阈值去切一条连续的轴,然后拿切出来的两段当两个不同的世界。
【流程节点链路】两个独立研究 → 各自的效应估计 d₁、d₂ 与标准误 SE₁、SE₂ → 差值 Δ = d₁ − d₂,其标准误 SE_Δ = √(SE₁² + SE₂²)(独立时)→ 检验统计量 z = Δ / SE_Δ → 与 1.96 比较 → 判断「差异是否显著」→ 才轮到写「调节」。
【细微】代入具体数字。两个研究各 100 人(每组 50),标准化均值差的标准误 SE ≈ √(2/50) = 0.20。研究 A 观测到 d₁ = 0.40(z = 2.0,p ≈ 0.046,显著);研究 B 观测到 d₂ = 0.00(不显著)。看起来是「天壤之别」。但 SE_Δ = √(0.20² + 0.20²) = 0.283,z = 0.40 / 0.283 = 1.41,p ≈ 0.16。不显著。你手上没有任何证据说这两个效应不同——你只有一个显著的结果和一个不显著的结果。
【极难发现】更糟的是:选择效应与功效损失是同一枚硬币的两面。你之所以会去做这个比较,是因为其中一个刚好跨过了 0.05——这个「刚好」把 d₁ 向上偏、把 d₂ 向下偏,观测到的落差被系统性放大;而正因为落差被放大得「看起来可信」,你更不会去算它的标准误。同时,检验它的功效并没有变好:要检出与单个效应同量级的差异,样本量至少要 ×2(SE_Δ = √2·SE);而在「一个显著一个不显著」这种选择性样本里,实际需要的更多。放大落差的手,和让你没法验证落差的手,是同一只手。
【显式】这个错误在写作里的标准句式是:「Study 1 中效应显著,Study 2 中效应消失,提示 X 起调节作用。」这句话在投稿里出现频率极高,在统计上几乎总是无支撑的。
【隐式】可执行的替代方案,按成本从低到高: 1. 直接报差值及其置信区间:Δ = 0.40,95% CI [−0.15, 0.95]。读者一眼看到跨零,就不会再问调节。 2. 在合并模型里放交互项(把两项研究的数据堆在一起,Study × 条件),让交互项自己说话。 3. 多层模型 / 元分析把研究当随机效应,估 τ²——如果研究间方差估计接近 0,那「不一致」就是抽样噪声,不是世界的不一致。
【细微】还有一个廉价自检:把两个研究的方向和量级画进同一张森林图。如果两个 95% CI 大幅重叠,「调节」这个说法在视觉上就站不住——而这张图你本来就要画。
【锚点·待验证】一个我没有把握的引申:这个错误之所以顽固,可能不只是统计训练问题,而是叙事经济学问题——「A 有效、B 无效,因为 X」是一个完整的故事,「我们没检出差异」不是一个故事。如果这个猜测成立,纠正它的杠杆就不在统计课,而在期刊如何处理零结果。这一条我留着待验证,也欢迎有人来拆。
问题留给你:你最近一次写「提示可能存在调节作用」,是真跑了交互项,还是只是把两个 p 值并排放了一下?







0 评论