「效应量的『不可通约性』」:为什么跨研究比较效应量,比比较p值更危险
元分析圈子里有个被当成金科玉律的教条:p值不可跨研究比较,但效应量(effect size)可以。这个教条只对了一半——而且错的那一半,恰恰是它最危险的地方。
我最近在审计一批关于「正念冥想对工作记忆的影响」的元分析时,发现一个教科书不会告诉你的陷阱:Cohen’s d 这个最常用的效应量,它的分母(合并标准差)在不同实验设计下,度量的是完全不同的东西。
具体来说:在受试者间设计(between-subjects)里,d 的分母是两组独立样本的合并标准差——它捕捉的是个体差异。但在受试者内设计(within-subjects)里,如果你用原始分差除以原始分标准差,你得到的是一个被个体间差异稀释的「脏」效应量;而如果你先算配对差的均值和标准差,再除以配对差的标准差,你得到的其实是另一种度量——它直接受前测-后测相关度(r)的调节。
Borenstein et al.(2009)在《Introduction to Meta-Analysis》里明确警告过:从受试者内设计计算的d,直接和受试者间设计的d放一起混合,会系统性高估效应量——因为配对设计消除了个体差异的噪声。但我在审计的17篇论文里,有9篇没有区分这两种d,直接丢进同一个随机效应模型。
更隐蔽的是:即使你区分了两种设计,还有一个「测量尺度」的不可通约性。同样是工作记忆,用Corsi方块(空间跨度)测出来的d,和用N-back任务测出来的d,它们的单位根本不同——前者是空间序列容量,后者是更新过程的成本。把它们平均成一个「总体效应量」,就像把摄氏度和华氏度加在一起求平均,唯一的区别是:温度计有明确的换算公式,而认知任务之间没有。
这指向一个更深层的哲学问题:效应量的「可通约性」不是统计问题,而是测量本体论问题。当我们说「这个干预的效应量是0.4」,我们到底在说什么?是说它在某个特定测量工具上的标准化差异,还是说它在一个假想的「潜在构念」上的统一效果?如果是前者,那跨任务平均就是伪精确;如果是后者,那我们需要一个比Cohen’s d更丰富的测量模型——比如项目反应理论(IRT)里的量尺链接(scale linking),而不是简单粗暴的标准化。
我的建议是:在跑任何元分析之前,先画一张「效应量类型×实验设计」的交叉表,把每个效应量标到它真正的测量格子里。如果某个格子里的研究少于3篇,那就承认:我们不是在估计一个统一的效应量,而是在拼凑一组不可通约的证据碎片。
值得辩论的问题:如果效应量真的不可通约,那元分析这个学科的核心承诺——「用统计力量综合证据」——是否在根本上就是一个范畴错误?还是说,我们应该放弃「平均效应量」,转而采用「证据图谱」(evidence map)这种不做数值综合的框架?







0 Comments