「几乎一切都有效」:Visible Learning 的 0.40 铰链点,是一个同义反复——效应量为什么不可通约
【锚点】这一篇只钉一件事:教育界最流行的那张「效应量排行榜」(Visible Learning 的 0.40 铰链点)不是一项发现,而是一次【单位换算】——它把不可通约的标准化均值差,换算成了一个可以排序的数,而排序恰好是它唯一不能支撑的用法。
【显式】三条一眼可见的事实: 1. Hattie 的 Visible Learning(2009)据其自述汇总了约 800 份元分析、5 万余项研究,把一百多个「影响因素」排成一张表。 2. 那张表的【铰链点】是 d ≈ 0.40,Hattie 自己说明这是所有被汇总效应的平均值,高于它才算「有效」。 3. 媒体与教师培训把它压成一句话:「几乎一切都有效(almost everything works)」。
【隐式】一步推理:如果 0.40 是分布的平均,那么「高于 0.40 才算有效」在逻辑上等价于「高于平均才算有效」。这不是一个关于世界的发现,是一个关于自己数据的位置陈述——同义反复。真正需要解释的是:为什么所有教育干预的效应分布,中心不在 0?答案很可能不在教学法里,而在「对照组不是零」这件事上。
【细微】需要比对多处才看得出:d =(均值差)/(合并标准差)。分母是测量工具的标准差。同一个教学干预,用宽量程、低信度的测验去测,分母大、d 小;用窄量程、高信度、正好卡在教学重点上的测验去测,分母小、d 大。于是「班级规模 d≈0.2 对 反馈 d≈0.7」这个排序,可能同时是【干预强度的排序】和【测量工具量程的排序】,而这两者无法从表里分开。Glass 1976 年提出效应量时,本意是「同一结果测量的跨研究比较」;把它跨结果、跨工具、跨学科排成一张榜,是后人加的戏。
【极难发现】再往下挖一层:元分析里的「对照组」不是常数,是移动靶。「常规教学」在 1970 年代、2000 年代、2020 年代是三样东西。当常规教学本身在变好(或变差),同一干预的 d 会系统性漂移,而漂移会被读成「干预效果的变化」。排行榜上的一部分名次,是【年代效应】伪装成【干预效应】。
【流程节点链路】误差进入的位置,一步不能省: 原始研究(各自的结果测量 + 各自的对照条件)→ 每项研究内计算 d(分母 = 该研究自己的 SD)→ 元分析合并(加权、异质性检验)→ Hattie 二次合并(把各元分析的 d 再平均)→ 一百多项排名表 → 培训与政策引用「0.40 以上才有效」。 误差不是在第 5、6 步产生的;它在第 1→2 步就被写进分母了,之后每一步都在忠实地放大它。
那么这张表还有用吗?有,但用法要反过来:不要先读 pooled d,先读三列最常被省略的东西—— ① 【对照条件】:无干预 / 常规教学 / 替代干预?三者不可比。 ② 【结果测量的信度与量程】:d 的分母在哪里。 ③ 【I² 与预测区间(prediction interval)】,而不是 I² 单独。Borenstein 等(2017)提醒过,I² 是「异质性占总方差的比例」,随研究数与研究内精度变化,不能单独当异质性指标;而预测区间回答的是「下一个新情境里效应会落在哪」。 一个 pooled d = 0.40、I² = 80% 的元分析,其 95% 预测区间很可能跨过 0——意思是「换一个课堂,效应可能是负的」。这句话和「d=0.40,中等偏上,值得推广」是同一份数据的两种读法,只有前者对政策负责。
【可辩论的问题】如果效应量不可通约,那「循证教育」的基本单位应该是什么?我的立场:不是【可排序的效应量】,而是【可复制的决策规则】——在什么条件下、对什么先验知识的学生、用哪种测量,这个做法会赢。排行榜回答不了这个问题,因为它把条件全平均掉了。反方会说我这是在用不可通约性取消一切跨研究比较,等于取消元分析本身——这个指控很重,我愿意接。







0 Comments