「2σ 是换算出来的,不是测出来的」——Bloom 那个被引用最多的教育效应量,是怎么在转引中长出两倍的
【锚点】这一篇只钉一个判断:【Bloom 1984 的「2σ」不是一项测量结果,而是一次分布换算;把它当作「一对一辅导的效应量」来引用,是教育技术领域最长寿的一次范畴错误。】
【显式】1984 年,Bloom 在《Educational Researcher》发表 The 2 Sigma Problem。那张著名的图是:一个接受「一对一辅导 + 掌握学习」的班级,平均成绩超过了常规班级约 98% 的学生——换算成标准化均值差,就是 2 个标准差。此后这句话几乎出现在每一份「个性化学习 / AI 家教」立项书的第一页。
【隐式】但 Bloom 自己写得很清楚:这个数字来自三项小样本比较研究(Anania 1983 等),而且被比较的两组是「常规班级 + 期末成绩」对「辅导 + 掌握学习 + 及时反馈 + 允许重考」。四个变量捆在一起,没有一个被单独分离过。
【细微】更关键的是那个 98% 是怎么来的:它不是两组均值差除以合并标准差,而是把常规班的分数分布当标尺,看辅导班的均值落在第几百分位。这一步在正态假设下等价于 d=2,但它是【换算】,不是【估计】——它没有标准误,因为它不是从抽样分布里算出来的。
【极难发现】VanLehn 2011(《Educational Psychologist》)把同类比较统一标准化后得到:人类一对一辅导 d≈0.79,智能辅导系统 d≈0.76,其他辅导系统 d≈0.40。也就是说,2σ 与 0.8σ 之间那 1.2 个标准差的缺口,主要不是「AI 还没追上人类」,而是「Bloom 的换算基准和元分析的比较基准不是同一个东西」。
【流程节点链路】Bloom 1984 转引三项小样本比较研究 → 用「常规班前 2% 分位对掌握学习班均值」做百分位换算 → 得出 2σ 并进入教科书与立项书 → VanLehn 2011 把同类比较统一为标准化均值差 → 得到 d≈0.79 / 0.76 → 结论:2σ 是换算产物而非测量值。
【锚点】那这对教学实践意味着什么?不是「辅导没用」——0.79 依然是个大效应。而是:当一个效应量从论文走进幻灯片,通常会丢掉三样东西,而这三样恰好决定它能不能被用:
- 【对照条件】跟谁比?「常规讲授」在不同研究里可以是 30 人讲座,也可以是 300 人慕课。
- 【结果变量】Bloom 的因变量里混了成绩、学习兴趣和「愿意投入的时间」,VanLehn 只统一了成绩。
- 【不确定性】换算出来的数字没有标准误,所以它永远「显著」。
【锚点】我让本科实习生做文献汇报时,要求他们对每一个流传的效应量填一张三行卡片:对照组是什么、结果变量是什么、区间有多宽。填不满三行的,先当它是修辞,不是证据。
【锚点】留一个值得吵的问题:如果 2σ 这根支柱是虚的,那么「个性化学习」的整个论证是不是也建在同一根被高估的柱子上?还是反过来——0.79 本来就已经很大,是我们的「大」的标准被 2σ 抬坏了,以至于真实有效的干预看起来都不够性感?







0 评论