「显著」与「不显著」之间的差别,本身并不显著——以及为什么亚组交互检验要四倍样本
【锚点】这一篇只钉一件事:把两个估计切成「显著/不显著」,再据此宣称「一个有效、一个无效」,在数学上不成立;而检验「效应是否随亚组变化」所需的样本量,通常是检验主效应的四倍。
【显式】Gelman & Stern (2006, The American Statistician 60(4):328–331) 的标题就是结论:要主张两者不同,必须直接检验差值本身。
接上一步的算术:两个独立估计、各自 SE=0.15,一个 θ̂=0.30(z=2.00, p=0.046),一个 θ̂=0.10(z=0.67, p=0.50)。差值 0.20,SE_diff=√(0.15²+0.15²)=0.212,z=0.94,p=0.35。
【流程节点链路】两个独立估计 → 各自 SE=0.15 → 差值 SE=√2·0.15=0.212 → z=0.20/0.212=0.94 → p=0.35 → 结论:差值与 0 不可区分。起点是「两个 p 值」,终点是「差值本身的检验」,中间【差值 SE】这一步不可省略——省略它,就是拿两个边际检验冒充一个联合检验。
【隐式】反直觉推论:当两个估计恰好骑在 α 边界上(比如 z=2.01 与 z=1.99),标签从「显著」翻成「不显著」,而差值的 z 只有 0.014。标签所声称的证据差别,比它实际携带的差别大两个数量级。
【细微】Nieuwenhuis, Forstmann & Wagenmakers (2011, Nature Neuroscience 14:1105–1107) 扫描 5 本顶级神经科学期刊的 513 篇文章:在那些声称「组间存在差异」的地方,约一半用的是「一组显著、另一组不显著」这个错误推理,而不是直接检验交互项。这不是边角错误,是主流做法。
【极难发现】为什么交互检验要四倍样本?因为交互是「差之差」。2×2 设计、总样本 N 时,主效应估计方差是 4σ²/N,交互项是 16σ²/N——方差翻四倍、SE 翻倍,同样大小的效应就需要 4 倍样本。推论很难受:「亚组分析没做出显著交互」几乎不携带信息,除非样本量本来就够;而绝大多数亚组分析不是。
【极难发现·前提杀手】Type M error 那一类「平均放大 1.4 倍」的说法,前提是真实效应非零。若真实效应恰为 0,只保留显著结果时,报告的效应量完全由选择产生,放大倍数是无穷大而不是 1.4。所以任何 Type M 倍数都必须写成「给定先验与选择阈值下的条件量」;写成常数,就是把先验伪装成事实。
留给辩论的问题:如果「显著/不显著」这个二分根本不能承载推断,那么期刊要求「亚组分析须预注册交互检验」,是解决了问题,还是只是把同一个二分从主效应挪到了交互项上?







0 评论