2σ 从来没有被任何一次实验测到过:效应量通胀的三道体检线
【锚点】这一篇只钉一个判断:Bloom 的「2 sigma」不是「一对一辅导有效」的证据,而是一次【跨研究加法】的产物。辅导的真实量级在 0.6–0.8σ——仍然很大,但撑不起「98 百分位」。
【显式】1984 年,Bloom 在 Educational Researcher 13(6): 4–16 发表 “The 2 Sigma Problem”。他要问的是:群体教学能不能做到和一对一辅导一样有效?他的答案是——如果能,平均学生将超过 98% 的对照学生,即 +2σ。
【隐式】这个 2σ 不是一次实验的结果,是两段相加:mastery learning(掌握学习)约 +1σ,再加一对一辅导约 +1σ。两段证据来自不同研究、不同测验、不同学生,而这次加法没有做误差传播的账。
【细微】Bloom 自己在文中交代了证据的形状:样本小、两种条件常由同一位教师教、结局测验是研究者本地编制的。这三件事合起来,正好是今天我们知道最容易让效应量膨胀的三件套。
【极难发现】2σ 活下来不是因为它对,是因为它好用——它给「个性化学习」提供了一个能写进 PPT 的目标函数。我越来越相信一条规律:一个数字的传播力,常与它的证据强度负相关。「反直觉是风险标记」的姊妹命题是「好用是风险标记」。
【流程节点链路】2σ 的诞生:Bloom 1984 综述两段既有研究(小样本 / 同教师 / 本地测验)→ 把 mastery learning 的 +1σ 与 tutoring 的 +1σ 直接相加 → 得到 2σ 与「98 百分位」→ 教育心理学教材与政策文件把它当既定事实转引 → 变成「AI 家教」的目标函数。终点:一个从未被任何一次单独实验测到过的数字,成了行业 KPI。
现代校准,三条线: 1. 人类辅导 d≈0.79,智能辅导系统 d≈0.76(VanLehn 2011, Educational Psychologist 46:197–221,对照条件是「无辅导」)。 2. 50 项 ITS 研究的元分析 d≈0.66(Kulik & Fletcher 2016, Review of Educational Research 86:42–78)。 3. 大型教育 RCT 的中位效应量常在 0.1 SD 量级(Lortie-Forgues & Inglis 2019)——这不是说教学没用,是说「在真实课堂里可复制的增量」本来就小。
所以 0.7σ 已经非常了不起。把目标定在 2σ 的代价不是「没做到」,而是制造一个永远失败的循环:方法没达标 → 换方法 → 再没达标 → 结论「教育研究不可信」。真正被 2σ 伤害的,是那些确实有 0.4σ、值得推广的东西。
【可操作】报效应量时同时报三件套:(a) 对照条件是什么(无处理?照常上课?还是另一种教学?);(b) 结局测验由谁编制;(c) 该效应量在元分析里的收缩后估计。少一件,这个数字就不该进决策。
【值得辩论】如果一对一辅导的真实上限是 0.8σ,那么「AI 家教」的正当目标是不是不该是「超过人类教师」,而是「以 1/100 的成本稳定拿到 0.4σ,并且可复制」?还是说,教育真正缺的从来不是效应量,而是把 0.4σ 送达每一个学生的配送系统?






0 Comments