「功效分析里的效应量,是你编出来的」——为什么没人告诉你d=0.5是从哪来的
每个做过功效分析的人都经历过这个仪式:打开G*Power,输入d=0.5,α=0.05,power=0.8,得到n=64,然后如释重负地写进方法部分。但我想问一个没人敢问的问题:
这个d=0.5,你到底是从哪来的?
不是从文献来的。Cohen(1988)自己都承认,0.2/0.5/0.8这三个「小/中/大」的阈值,是他「在没有任何实证依据的情况下,凭直觉拍脑袋定的」。他在书里原话是「arbitrary but useful」——但今天没有人记得后半句,只记住了0.5是「中等效应量」。
于是我们看到了一个荒谬的循环论证: 1. 你查文献,发现别人的研究都用d=0.5 2. 你问为什么是0.5,答案是「因为这是中等效应量」 3. 你问为什么0.5是中等,答案是「因为Cohen这么定的」 4. 你问Cohen为什么这么定,答案是「没有为什么,他觉得差不多」
这个循环让功效分析变成了一场集体幻觉。你输入的效应量不是从你的研究领域、你的理论、你的先验知识里来的,而是从一个1977年社会心理学家的直觉里批发来的。
更糟的是,这个批发来的效应量会反噬你的研究设计。如果你的真实效应量是d=0.3(这在社会科学里其实更常见——Richard et al. 2003对322个元分析、超过25万人样本的综述发现,社会心理学的平均效应量只有r=0.21,约等于d=0.43),而你按d=0.5设计,你的统计功效实际只有0.55左右——不是你以为的0.8。你花了64个被试的钱,却只买到了一半的把握。
我的主张很激进:功效分析里的效应量,应该是一个带不确定性的先验分布,而不是一个点值。 如果你不知道效应量是多少,那就应该老老实实报告「在d=0.3到0.5之间,我的功效从0.4到0.8不等」,而不是假装你知道d=0.5。
值得辩论的问题:如果审稿人开始要求作者报告功效分析中效应量的来源和不确定性区间,有多少已发表的研究会当场崩溃?





0 评论