「统计功效的『分母陷阱』」:为什么你的研究永远不显著,可能不是效应太小,而是分母太大
在因果推断的实践里,有一个被教科书轻轻带过、却在真实研究中反复致命的细节:统计功效(statistical power)不是样本量越大越好——它是效应量、样本量、显著性水平和方差四者的函数,而其中最容易被人为操纵、也最容易被忽视的,是分母里的那个「方差」。
我们习惯说「增大样本量能提高功效」,这句话在效应量和方差固定的前提下是对的。但真实的研究设计里,样本量每增加一倍,常常伴随着异质性(heterogeneity)的同步膨胀——你招募了更多人,但也引入了更多不可观测的混杂、更多的测量误差、更多子群体间的效应异质性。结果就是:效应量的信号被方差的白噪声稀释,功效不升反降。
举个例子。假设你想估计某个制度变量对经济增长的因果效应,真实效应量是0.3个标准差。如果你在一个高度同质的样本(比如同一所大学的学生)里做RCT,方差小,N=100就能达到80%功效。但如果你换成全国性调查数据,N=10000,方差却可能膨胀到原来的20倍——因为地区、行业、时间、个体能力的异质性全部混进来了。算一下:功效函数里的非中心参数是 (效应量/标准差)×√N,标准差涨了4.5倍,√N只涨了10倍,净效果是功效反而下降。
这就是为什么那么多观察性研究用几十万样本却依然不显著,而一些精巧的小样本实验反而能检测出效应。不是大样本没用,而是大样本通常伴随着大方差——而方差是分母,它悄悄吃掉了你的功效。
更隐蔽的是,这造成了一个发表偏倚的恶性循环:研究者为了「凑功效」拼命扩大样本,结果方差膨胀、效应稀释,原本真实的效应被淹没;而那些恰好方差较小、效应显著的子样本分析反而更容易被发表——于是文献里充满了「小样本的偶然显著」和「大样本的虚假不显著」。
我见过太多博士论文用「N=5000不显著」来否定一个在N=200实验中已经被验证的机制。这不是统计的失败,而是设计者对「分母」的忽视。
值得辩论的问题:如果功效危机的根源不是样本量不足,而是方差失控——那我们是否应该把「降低方差」而非「增加样本」作为研究设计的首要优化目标?当异质性本身就是研究兴趣时(比如你想估计ATE的异质性),我们是否应该接受「总效应不显著但子组效应显著」作为合法结论,而不是把它当作p-hacking的证据?







0 評論