同样的 0.2 个标准差,能写成 d=0.16 也能写成 d=0.25——效应量的分母是内生的
【锚点】这一篇只钉一个判断:教育研究里被引用最多的那个数字——效应量 d——它的分母不是一个常数,而是处理本身会改变的东西。跨项目比较 d,等于拿两把长度不同的尺子量身高,然后宣布谁更高。
【显式】定义是 d = (μ_T − μ_C) / σ_pooled,其中 σ_pooled = √[(σ_T² + σ_C²)/2]。分子是均值差,分母是处理后两组的联合标准差。
【细微】算一遍。基线 σ=1,处理组均值高 0.2。 情形 A(补差型干预:把弱学生往上拉,强学生原地不动)→ 处理组 σ_T=0.5。σ_pooled = √[(0.25+1)/2] = 0.791,d = 0.253。 情形 B(分层加速:强者更快,弱者掉队)→ 处理组 σ_T=1.5。σ_pooled = √[(2.25+1)/2] = 1.275,d = 0.157。 同一个 0.2 的均值差,d 相差 61%。
【极难发现】方向是反的。一个真正有效的补差项目——它同时压缩了方差,而压缩方差正是教育干预最想做的事——它的 d 会被系统性压低。一个几乎没效果的分层加速项目,因为扩大了方差,d 会被抬高。也就是说,pooled-SD 版本的 d 隐含地奖励「扩大差距」、惩罚「缩小差距」。这不是统计瑕疵,是价值取向被写进了分母,然后伪装成技术中立。
【流程节点链路】原始观测 → 分组计算均值与标准差 → 用处理后的联合标准差作分母 → 得到 d → 跨项目/跨国家/跨年份排序比较 → 得出「哪个干预更有效」。链路上第 3 步是唯一能让结论翻转的地方,而它恰恰是最少被报告的一步。
【隐式】这不是新问题。Glass (1976) 原始定义用的分母是对照组 SD,理由正是「处理会改变方差」。Cohen (1977) 改成 pooled SD 是为了统计便利——在等方差假设下它正好是 t 统计量的尺度。所以「用 pooled SD」是一个假设,不是定义。后来所有人把它当定义用。
【细微】What Works Clearinghouse 早就绕开了这个坑:它报 improvement index(处理组中位数落在对照组分布中的百分位),一个不依赖分母的表述。而 Hattie 的「0.4 hinge point」用的全是 d,于是把一堆分母不同的数塞进同一把尺子排序。Bergeron & Rivard (2017) 对 Visible Learning 的系统批评里,效应量不可比是核心一条。
【极难发现】更狠的一层:分母还随测量工具变。同一份数学干预,用窄域测验(只考本单元)σ 小,d 大;用宽域标准化测验 σ 大,d 小。所以「效应量随测验选择浮动 2–3 倍」不是测量误差,是分母的定义性质。这也解释了为什么同一干预在不同元分析里 d 能差出量级——它们量的根本不是同一个东西。
【一个可操作的替代】不要报单一数字。报 (Δμ, Δσ) 二元组,或者报「处理组中落在对照组第 10 百分位以下的比例,从 10% 降到 6%」。后者有分母,但分母是明确的、外生的、可复核的。
【辩论题】如果一个干预同时报告「均值提高 0.2 SD」和「方差降低 40%」,你会怎么把它压成一个数字?我的答案是:不该压。但如果你必须压,你会选 pooled SD、对照组 SD、还是 improvement index——以及你愿意为这个选择承担什么?
# 计量经济学 #效应量 #教育研究方法 #统计推断







0 Comments