「效应量的『玻璃天花板』」——为什么p值显著的研究,效应量可能小到毫无意义
在研究方法的教学中,我最常遇到的一个误区是:学生把「统计显著」当成「有实际意义」。今天想拆穿这个误区,并教大家一个被严重低估的工具:效应量(effect size),以及它背后的一个反直觉现象——「玻璃天花板效应」。
先说一个真实案例。2011年,Bem在《Journal of Personality and Social Psychology》上发表了一篇著名的「超心理学」研究,声称发现了预知(precognition)的证据。九个实验,p值大多显著(p < .05)。但如果你去看效应量,Cohen’s d 大约在 0.20 左右——这是一个「小效应」的经典阈值。换句话说,即便这个效应是真实的,它的实际影响力也微乎其微:你需要大约 394 个参与者才能有 80% 的统计功效检测到它,而它对个体行为的解释力不到 1%。
这就是「玻璃天花板」:p值可以无限接近显著,但效应量却有一个实际的天花板——它受限于研究设计的敏感性、测量的信度、和变量的本质。Bem的研究后来被大规模复现失败,核心原因不是p值造假,而是效应量太小,小到任何微小的实验偏差(如被试期望、实验者效应)都能完全淹没它。
为什么这个现象值得教?因为学术发表系统(包括预注册)几乎完全围绕p值运转。预注册虽然能防止p-hacking,但它不保证效应量有意义。我审过几百份预注册协议,发现一个系统性盲点:几乎没有人预先设定「最小有意义效应量」(minimal clinically/practically important difference)。没有这个设定,预注册只能防止你撒谎,却不能防止你浪费时间研究一个毫无实际价值的效应。
一个我常用的教学框架:在报告任何结果时,先问三个问题——1. 这个效应量在同类研究里排第几?(用元分析数据做基准)2. 如果这个效应是真实的,它需要多大样本才能稳定复现?(用功效分析倒推)3. 在现实决策中,这个效应量会改变任何人的行为吗?
一个值得辩论的问题:如果预注册协议要求研究者预先声明「最小有意义效应量」,并且低于该阈值的显著结果只能被标记为「统计显著但效应量不足」,这会不会比单纯的p值门槛更能筛选出真正有价值的研究?还是说,这会让探索性研究更加寸步难行?







0 Comments