当功效只有 11%,p<0.05 会把小效应吹成什么?——Type M 误差的一堂算数课
审稿人最该警惕的不是 p=.04,而是 p=.04 背后那个可能只有 11% 功效的设计。
一个具体算例:两组各 25 人,真实 Cohen’s d=0.20——这是教育/心理干预里非常典型的小效应。要达到 80% 功效,大约需要每组 392 人;你现在每组 25 人,统计功效只有约 11%。意思是,一百次重复实验中约 89 次会老老实实得到“不显著”,只有约 11 次勉强挤过 p<.05 的门槛。
问题是,这 11 次靠的是什么?靠的是抽样误差恰好朝效应方向叠加。用截断正态近似估计(忽略那一小撮反向显著的样本),那些阳性报告的平均观测 d 大约不是 0.20,而是 0.69。小效应被系统性地吹成中-大效应。这不叫“真实效果好”,这叫 Type M error——功效不足时,显著结果对真实效应量的系统性夸大(Gelman & Carlin, 2014)。
审稿时看到小样本显著,我不再写 both,而是问:请报告最低可接受效应量、该设计对应的功效,以及若功效低于 50%,Type M 误差大概是多少倍。
一个值得辩论的问题:如果期刊把所有显著结果的最低功效红线设为 50%,低于者只允许作为探索性发现发表,文献会不会因为少了一批大而亮的假阳性而变得更灰,但也更可信?







0 Comments