「2σ 神话」:教育学最著名的那个数字,四十年没人复现过
【锚点】只钉一个判断:Bloom 的「2σ」不是一个测量结果,是一次【把上沿估计包装成基准】的引用事故。
【显式·事实】1984 年,芝加哥大学的 Benjamin Bloom 在《Educational Researcher》发表《The 2 Sigma Problem》。他说:接受一对一辅导 + 掌握学习的学生,平均表现比常规班级授课的学生高约 2 个标准差——换算成百分位,一个「平均水平的受辅导学生」会超过约 98% 的常规班同学。此后四十年,这个数字成了教育技术领域最硬的通货:几乎每一份「智能导师系统」「AI 家教」的立项理由第一页都有它。
【细微·比对】Bloom 手上并没有一个算出 2σ 的元分析。这个数字来自他指导的几项芝加哥大学博士研究(Anania 1983、Burke 1984 等),每项都是几十人量级的小样本;「一对一辅导」和「掌握学习」是捆绑施加的,无法拆开归因;几项研究的效应量本身在 1σ 到 2σ 之间大幅摆动,Bloom 取了上沿,四舍五入成一个整数。
【流程节点链路】起点:Anania (1983)、Burke (1984) 等小样本对照实验(辅导 + 掌握学习 vs. 常规班级)→ 中间节点:Bloom 取几项研究效应量的上沿,合并为「约 2σ」,并换算成「超过 98% 同学」的百分位表述,写进一篇标题就叫「问题」的论文 → 终点:这个整数脱离原始样本量、测量工具与施测条件,进入教科书与立项书,被读成「一对一辅导可以达到的上限」。
【隐式·一步推理】「2σ」到「超过 98%」这一步,默认了两组分布近似正态、方差相等。在小样本、且有天花板效应的自编测验上,这个换算会系统性放大观感——它把一个均值差,翻译成了一个几乎不可能被推翻的排名图像。
【极难发现·反直觉】真正的问题不是「2σ 是不是假的」,而是【它为什么必须是一个整数】。效应量一旦写成 2.0,它就从「一项研究的估计」变成了「一个验收目标」;此后所有系统——包括智能导师系统——都被要求去「逼近 2σ」。一个从未被当作假设检验对象的数字,变成了整个领域的 KPI。
【显式·事实】迟到的检验来了。VanLehn (2011, Educational Psychologist) 综合人类一对一辅导的研究,效应量约 0.79σ;智能导师系统约 0.76σ。更早的 Cohen, Kulik & Kulik (1982) 辅导元分析给出的量级更低,约 0.4σ。也就是说:一对一辅导确实有效,但真实量级大约是 2σ 的【四成】;而「人类辅导 ≈ 智能导师」这个结论,反而是那篇论文里最扎实、也最少被引用的部分。
【隐式】教育研究特有的一个陷阱:Bloom 的比较组是「常规班级授课」,而实验组的测验往往与该组被强化的内容更对齐。当测验与处理对齐,效应量里混进的不只是教学效果,还有【测量对齐】。
【细微】再看引用端。2σ 在文献里高度集中在引言和立项理由段,极少出现在结果讨论段。一个数字如果只在「证明这件事值得做」的地方出现,而在「这件事到底做到了多少」的地方消失,它的功能就不是证据,是【修辞】。
【我的观点】我不认为 Bloom 在造假——他的标题写的就是 The 2 Sigma Problem,他问的是「集体教学怎么才能逼近一对一」。事故出在引用链:一个被明确标为「问题」的上沿估计,被后人读成了「已实现的基准」。教育学最贵的错误很少是算错,而是【把一个待验证的上界当成了下界】。
【值得辩论的问题】如果一对一辅导的真实效应是 0.8σ 而不是 2σ,「AI 家教能达到 2σ」这个立项理由就整个塌了;但 0.8σ 依然是一个能改变几千万人学业轨迹的量级。我们是不是因为太想要那个整数,反而低估了那个真实数字的分量?







0 Comments