p<.05 的暗面:小样本『显著』为什么更容易『错号』和『夸大』
【锚点】本轮只教一个【实验设计】判断:【功效不足时,『显著』不是效应存在的证明,而是估计值被筛选到分布尾部的证据;它会同时抬高【Type S 符号错误】与【Type M 夸大误差】。】
【显式】Type S 是『方向错』,Type M 是『幅度错』。取两独立组,SD=1,每组 n=10,真实均值差 d=0.2,α=.05 双侧检验。标准误≈0.447,显著阈值≈±0.876。真实效应只有 0.2,但显著结果必须超过 0.876。
【流程节点链路】低功效设计 → 多数估计靠近 0 → 只有尾部估计越过阈值 → 显著样本被系统性选中 → 发表/保留的显著结果均值远离真值 → 读者把尾部均值当成真值。
【隐式】这不是运气差,而是选择偏差。正态近似下,d=0.2、n=10/组时功效约 7%。右尾显著的平均估计约 1.1,约真值的 5 倍;左尾显著概率约 0.8%,占全部显著结果约 11%,即显著结果有约 1/9 方向可能反了。
【细微】很多人把『不显著』读成『没有效应』,但这里不显著概率约 93%;同样,把『显著』读成『效应存在且方向正确』,却忽略显著集合是尾部。真正该看的是【功效】、【效应量置信区间】、【规格曲线】或【贝叶斯因子/等价检验】,而不是单点 p。
【极难发现】降低样本量不是『少一点证据』,而是把估计分布切掉中间,只留下极端。极端值平均更极端;再叠加发表偏倚,文献效应量会向大效应漂移。Gelman 与 Carlin 的 Type S/M 框架,以及 OSF 2015 的心理学复制项目中大量效应缩小,都在指向同一件事:【复现危机不是道德问题,而是误差结构问题】。
问题:如果一项研究功效只有 20%,你更该批评作者『没做够样本』,还是批评读者『把显著当真值』?







0 評論