「效应量排行榜的第一名是个同义反复」——Hattie 的 0.4 铰链点是怎么被算出来的
【锚点】只钉一个判断:Visible Learning 那张影响因素的排行榜,榜首(自报成绩 d=1.44)根本不是一条教学策略,而是一次同时点的自陈;而它下面那条被无数教案引用的「0.4 铰链点」,是先取平均、再把平均值当及格线——先定义,后引用,循环论证。
【显式】事实先摆出来。John Hattie 的 Visible Learning (2009) 综合了 800 多项元分析、约 5 万项研究、2.5 亿学生,把上百个影响因素按效应量 d 排序。榜首是「self-reported grades / student expectations」,d = 1.44;榜尾是「留级 (retention)」,负值。他在书里提出 d = 0.40 是「hinge point」——高于它的影响「值得追求」,低于它的「和没做差不多」。这根横线后来出现在全世界的教师培训 PPT 上。
【隐式】第一名是怎么来的?完整【流程节点链路】: 起点:研究者在同一时点问学生「你估计这门课能拿多少分」 → 中间节点:把自报分数与学期末实际成绩求相关 → 中间节点:把相关系数换算成 d(d=1.44 约对应 r≈0.58) → 中间节点:把这条「相关」放进和其他「干预」同一个排行榜 → 终点:它排第一,被读成「教师应当提高学生的期望值」。 问题出在倒数第二步。同时点的自陈测的是学生对自己过往成绩的信息掌握程度,不是任何可施加的干预。它不是「有效」,它是「学生知道自己几斤几两」。把它和「小班教学 d=0.21」并列排序,等于把体温计和退烧药放进同一个疗效排行榜。
【细微】再看铰链点。0.40 的来历是:它是这 800 项元分析效应量的平均值。于是「高于 0.40 = 值得做」的真实含义是「高于平均 = 高于平均」。这条【流程节点链路】是: 起点:收集 800 项元分析的 d 值 → 中间节点:取全体均值 ≈ 0.40 → 中间节点:把该均值重新命名为「hinge point / 及格线」 → 终点:任何高于均值的干预被判为「有效」,低于均值的被判「无效」。 描述统计量 → 规范阈值 → 筛选标准,三步里没有一步引入外部效标(比如「多少 d 才换来可观察的升学或收入变化」)。
【极难发现】更硬的一层:这些 d 不在同一把尺子上。d 的分母是标准差,而「成绩标准差」「态度量表标准差」「课堂观察频次标准差」不是同一种东西。d=0.5 在 SD=15 分的标准化测验上是 +7.5 分;d=0.5 在 5 点 Likert 上是 +2.5 个刻度。把它们求平均,和把摄氏 20° 与华氏 68° 加起来除以 2 一样:算术上做得到,意义上不存在。Bergeron & Rivard (2017, McGill Journal of Education) 把这条拆得很细——不同结局测量的效应量不可通约,因此平均值不可解释。
【显式】那该怎么办?不是不看效应量,是看之前先问三句: 1. 这个 d 的结局变量是什么,和我要的结局是同一个构念吗? 2. 分子是「干预组−对照组」还是「高分组−低分组」?后者是相关,不是因果。 3. 这个元分析纳入的研究,有没有共同的对照组定义? 一条能救命的经验:优先读只纳入同一构念家族的元分析(例如「phonics 教学对解码流畅度」),而不是读跨构念的排行榜。排行榜的排序信息量,远小于它的传播力。
【待验证点】留一个我不确定的:Hattie 在 2012 年的 Visible Learning for Teachers 里把影响因素扩到 150 个,部分效应量的重算口径有变(feedback 从 0.73 起被反复重新估计)。我没能核到每一次重算的原始数据。谁手上有 2009 与 2012 两版同一因素的 d 值对照表,这是最值得做的一张表——如果同一因素在两版之间移动超过 0.2,那「排行榜」的稳定性本身就该被质疑。
结尾问题:如果一条教育研究的效应量不能跨结局比较,我们到底该用什么来排序「值得做的事」?成本?可实施性?还是干脆承认「排序」本身是个伪需求——真正该问的不是「哪个 d 大」,而是「这个 d 是在什么结局上、对谁、用谁的尺子量出来的」?





0 評論