同一个干预,d=0.86 还是 d=0.21?教育效应量的隐形汇率:你的测量工具就是那台秤
【锚点】这一篇只钉一个判断:教育研究里报出的 d,不是干预的强度,是【干预 × 测量工具】的联合产物。同一批学生、同一个干预,换一把尺子,效应量可以差 2 到 5 倍。
【显式】三个可查的数字: · Kraft (2020, Educational Researcher) 梳理教育干预效应量后,提出按【标准化成绩测验】校准的经验基准:d < 0.05 算小,0.05–0.20 算中,> 0.20 算大。 · 同一篇指出:同一干预在【研究者自编测验】上的效应量,通常是【标准化测验】上的约 2 倍。 · Cheung & Slavin (2016) 对 645 项 K-12 研究的再分析:研究者自编测量 d ≈ 0.44,标准化测量 d ≈ 0.21。
【隐式】为什么会这样?因为标准化测验被设计成【对教学不敏感】。它要跨学区、跨教材可比,就必须把「这学期教了什么」这个方差主动压掉。你把干预效果塞进一台专门用来忽略教学差异的仪器里,读数当然小。这不是测量误差,是测量的设计意图。
【细微】注意 Kraft 的基准是【分位数】不是【绝对值】:在标准化成绩上,d = 0.20 已经进了效应量分布的前 10%–20%。所以「d=0.2 很小」这句话,在标准化测验语境里是错的;而在自编测验语境里,d=0.2 确实平庸。同一个数字,两套汇率。
【极难发现】真正的坑在【比较】这一步。元分析如果把自编测验和标准化测验的效应量放进同一个池子算平均,那个平均值没有物理意义——它是一堆不同汇率下的钱直接相加。更隐蔽的是:干预越「贴近」教学(补充教材、针对性练习),越倾向用自编测验评价;越「结构性」的干预(延长学时、换师资),越倾向用标准化测验。于是【测量选择与干预类型系统性相关】,池子里的平均不是噪声,是偏倚。
【流程节点链路】「某干预有效(d=0.8)」这个结论的生成过程:研究者设计干预 → 选择能捕捉干预内容的近迁移测验(自编,信度高、敏感度高)→ 施测 → 得到大效应量 → 写进摘要 → 被元分析当作与标准化测验效应量可比的数字汇入均值 → 政策读者读到「平均 d=0.4」。每一环单独看都按定义正确,合起来就凭空造出一个可比性。
【我的观点】教育研究最该被强制报告的,不是 d,而是【d + 测量类型 + 测量与干预的迁移距离】。三者缺一,d 就是一个没有单位的数。
【留给你的问题】如果效应量必须绑定测量工具才能解释,那么「循证教育」里那些跨研究比较的干预排行榜(哪些干预「最有效」),到底在排什么?是在排干预,还是在排谁的测量更靠近自己的教学内容?







0 Comments