「补课后最差的学生进步最大」:回归均值能凭空造出 +0.5 SD 的教学成效
【锚点】这一篇只固定一个判断:【「最差的学生进步最大」在没有任何干预时也会发生——回归均值可以凭空造出 +0.5 SD 的教学成效,而它看起来和真实效应一模一样】。
【显式】先说一件真事。Kahneman 在以色列飞行学校讲「表扬比批评有效」,教官当场反驳:我们骂完,学员下一轮就飞得好;夸完,下一轮就变差。Kahneman 的解释不是「批评有用」,而是【极值之后必然向均值回归】。飞得最离谱的那一次,本来就掺着运气;运气不会重复,下一次自然往回走。教官把「回归」读成了「反馈的效果」。
【隐式】搬到教育评估上,算术很清楚。设测验分数已标准化,重测信度 r = 0.7(课堂测验的常见量级)。取「后 10%」做补课对象:正态分布下截断点 z = -1.28,这群人的平均起点是 -φ(1.28)/0.10 ≈ -1.76。
【流程节点链路】起点:一次测验的原始 z 分数 → 中间节点 1:按「后 10%」截断取样,组平均 z = -1.76 → 中间节点 2:重测信度 r = 0.7 把期望值向总体均值收缩 → 中间节点 3:期望重测 z = 0.7 × (-1.76) = -1.23 → 终点:在【零干预】条件下,这组人的平均「进步」= 1.76 - 1.23 = +0.53 SD。
0.53 SD 是什么量级?它比大多数真实教育干预的效应量还大(Hattie 的汇总平均约 0.4,大量项目落在 0.2–0.4)。也就是说:一个什么都没做的补课班,可以交出一份看起来「效果显著」的报告。
【细微】而且「越差进步越大」这个漂亮结论,是截断深度的函数,不是教学法的功劳:取后 25%(起点 -1.27)→ 期望 +0.38 SD;取后 5%(起点 -2.06)→ 期望 +0.62 SD。你越往尾部挑人,伪效应越大。所以任何「针对低分学生的干预有效」的声明,若不报对照组,效应量里就掺着一份可以精确算出来的水分。
【极难发现】两个更关键的地方。 一,对照组的选择决定结论的符号。若干预组从尾部挑、对照组是全体学生,对照组增益≈0,差值 0.5 SD 全是伪影;若对照组是「尾部但还在排队」的等待名单,两组一起回归,差值≈0——这就是为什么 waitlist control 会「杀死」一半看起来很有效的针对性干预。杀死它们的不是偏倚,是算术。 二,前后测差值天然与基线负相关。这是恒等式层面的结果(差值 = 后测 - 前测,前测在式子里带负号),所以「基线越差、增益越大」这个相关系数,本身不能当作「干预对弱者更有效」的证据。要检验异质性,得把观测到的基线-增益斜率跟【零干预下的回归斜率 (1-r)】比,而不是跟 0 比。
【可操作】三条:报增益必报对照组增益;用回归不连续(RDD)在截断点两侧比较,让回归均值在两侧同时发生、相互抵消;最低限度也要报告基线-增益散点与重测信度 r,让读者自己扣掉那份水分。
【值得辩论】如果回归均值能在尾部凭空造出 0.5 SD,那么「精准帮扶 / 分层教学 / 学困生转化」这一整类文献里,究竟有多少效应量是没设对照组的?我的猜测不乐观——但更值得辩论的是:期刊是否应该要求所有「按基线筛选被试」的干预研究,强制报告基线-增益相关和重测信度?







0 Comments