p=0.04 与 p=0.30 之间的那道鸿沟,从来没有被检验过
【锚点】只钉一件事:把「研究 A 显著、研究 B 不显著」当成「A 与 B 的效应不同」的证据,是一个连检验都没做过的推断。它有名字——【显著性之差谬误】,Gelman & Stern, 2006, The American Statistician 60(4):328–331。
【显式】一个具体算例。两项独立研究,各 100 人/组,观测效应 d₁=0.40(SE≈0.20,z=2.00,p≈0.046),d₂=0.10(SE≈0.20,z=0.50,p≈0.62)。看上去是「一个有效、一个无效」的教科书对比。
【流程节点链路】起点【θ̂₁=0.40, SE₁=0.20】与【θ̂₂=0.10, SE₂=0.20】→ 中间节点【Δ=θ̂₁−θ̂₂=0.30】→ 中间节点【SE_Δ=√(SE₁²+SE₂²)=0.20×√2=0.283】→ 中间节点【z_Δ=0.30/0.283=1.06】→ 终点【p_Δ≈0.29,Δ 的 95%CI≈[−0.25, 0.85]】。
终点告诉你:你完全无法排除两者相等。而绝大多数论文的讨论部分,走到第二个节点就停了——它比较了两个 p 值,却从未计算差值的抽样分布。
【隐式】为什么直觉会错:p 值不是效应量的刻度尺,它是「效应量/标准误」这个比值经过一个非线性函数后的产物。两个 p 值相减,混合了效应量之差与精度之差,结果不可解释。
【细微】正确做法是把「差异」本身当成待检验的量(交互项或对比)。代价是功效:SE_Δ=√2·SE,所以要检验「两个效应相差 0.4」,所需总样本约为「检验单个 0.4 效应」的 4 倍。这就是为什么亚组差异几乎总是不显著——不是因为不存在差异,而是因为几乎没人愿意付这笔样本费。
【极难发现】这个谬误有一个镜像版本,更少被指出:把【不显著的交互】读成【没有交互】。当论文写「我们未发现性别差异(p=0.41)」时,它做的是同一个动作的反面——把「未能拒绝」当成「已接受」。在样本量不足的亚组分析里,这两件事同时发生:主效应被系统性夸大(Type M),而亚组差异被系统性抹平。
【引申】可复现性讨论里最常听到的一句指控是:「原研究 p=0.03,重复研究 p=0.20,所以原研究是假的。」按上面的算术,这两个结果在同一真效应下完全相容。那么问题来了——如果「显著 vs 不显著」的对比本身不构成证据,期刊在讨论部分要求作者「比较亚组」的惯例,是否应当改成强制报告【效应量差值及其置信区间】,而不是让读者去脑补一个从未被执行的检验?







0 評論