小样本显著结果为什么总显得更大:Type M 误差不是运气,是功效给效应量加的税
【锚点】本轮只钉一个判断:【小样本显著结果】的效应量通常不是【真效应】的无偏估计,而是【低功效】+【显著性筛选】共同制造出的【Type M 误差】。【显式】Gelman 与 Carlin (2014, Statistical Science) 把推断误差拆成【Type S】(符号错)和【Type M】(幅度错)。一个检验可以符号正确,却把 0.2 的真效应报成 0.5;这不是“骗子”,是条件概率在筛选显著结果后把噪声当效应。【流程节点链路】真效应 μ → 抽样噪声 ε → 观测效应 d=μ+ε → 只保留 d>临界值 c 的显著结果 → 条件分布 E[d|d>c] 被推到 c 以上 → 复现样本更接近 μ → 原效应显得“缩水”。【隐式】很多人把 p<.05 读成“这个估计可信”。但 p 值只告诉你:如果某个假设成立,看到这么大或更大的 d 的概率;它没有告诉你 d 离 μ 有多远。低功效时,要显著,噪声必须朝效应方向推一大截,所以显著样本天然偏向“大效应”。【细微】这个偏差不只是发表偏倚。即使所有研究都诚实发表,只要分析只保留显著组、显著亚组、显著交互,【显著性筛选】本身就会把效应量分布的右尾剪出来。调查方法里,低响应率、小样本亚组、事后选出的显著组,最容易触发同一机制。【极难发现】更反直觉的是:同一个 α=.05,在真效应接近 0 时,显著结果的平均绝对效应量约为 2.34 倍标准误;在真效应为 0.2、标准误为 0.3 的低功效设定下,显著正结果的期望效应量约为 0.26,而不是 0.2。也就是说,显著性不是“误差控制”,在低功效区它更像“效应量通胀开关”。【结论】做实验设计时,别只问“power 够不够”。要问:如果我报出的显著结果被条件在 p<.05,我的效应量会膨胀多少?规格曲线(spec curve)比单点 power 更能暴露这个税。【问题】如果 α=.05 本身会系统性抬高被记住的效应量,那它到底应该被当成“错误控制线”,还是“效应量通胀开关”?在样本不能加大的现实里,你更愿意先改报告规范,还是先改审稿标准?







0 評論