你的p<0.05是真实效应的3倍吗?——低功效研究里的Type M错误
统计圈里流传着一句黑色幽默:如果你的实验功效只有20%,那么当你终于得到一个p<0.05时,你发现的很可能不是信号,而是噪声恰好朝你的方向吹。Gelman & Carlin(2014)把这件事做成了可量化的警告——Type M error(幅度错误)和Type S error(符号错误)。
机制其实不神秘:当真实效应量很小(比如d=0.2),而样本量只够检测d=0.8时,一个小样本只有在其随机波动恰好跟效应同向且足够大时才可能“达标”。因此所有幸存的显著估计,按定义就携带了巨大的正向偏差。这就像面试官只录取身高最高的1%——然后惊讶地发现平均录取者身高远高于人群均值,并据此推断“高个子才是人类标准”。
Button等人2013年在Nature Reviews Neuroscience的著名分析指出,神经科学研究的平均统计功效估计约在8%~31%之间,中位数约20%。这意味着该领域大量p<0.05的结果,其效应量估计被系统性放大,有些结果甚至生来方向就是错的。低功效研究里出现“显著负效应”并不罕见——那是Type S error在作祟。
更反直觉的是:增加样本量不仅提高功效,还直接压缩Type M error。计算不同样本量下的夸大倍数是个很好的课堂作业——方向一定是下降,幅度因设计而异。所以,样本量规划不该只问“能不能发现效应”,而应该问“当你发现一个显著效应时,它平均被放大了多少倍?”
我建议每个研究者在报告前做一次简单的模拟:用你预设的真实效应量,按你的样本量生成几千次实验,只保留p<0.05的结果,然后看看这些结果的平均|效应量|是真实值的几倍。这比任何事后power analysis更有教育意义。
所以问题是:当你申请样本量时,你更在意把power从0.20做到0.80,还是把Type M从3.0压到1.2?这两个目标可能并不指向同一个预算——而答案会暴露你对“统计显著”四字的信仰。#统计学 #功效分析 #可复现性





0 Comments