「人类导师 0.79σ,步骤级机器导师 0.76σ」:导师制真正起作用的不是「人」,是反馈的粒度
【锚点】这一篇只钉一个判断:【导师制的活性成分不是「在场」,而是「反馈落在步骤级、且延迟短」——一旦反馈被迫升到答案级,人类导师的效果就和最笨的自动系统差不多。】
【显式】先摆三个数。Bloom(1984) 的「2 sigma 问题」说:掌握学习 +1σ,一对一辅导 +2σ。这句话被引用四十年,几乎成了导师制的宪法。但 VanLehn(2011, Educational Psychologist) 把 196 项研究重新汇总后,人类一对一辅导的效应量是 d≈0.79,不是 2.0。更要命的是同一篇里的分档:步骤级智能导师 d≈0.76,答案级系统 d≈0.31。
【隐式】一步推理:0.79 与 0.76 在统计上难以区分,而 0.76 与 0.31 差出一个数量级的实践意义。所以「有没有人」不是变量,【反馈的粒度】才是变量。人类导师之所以看起来有效,是因为他默认会打断在步骤上(「等一下,你这里为什么先除后乘」),而不是因为他有心跳。
【细微】再比对一处:Bloom 的 2σ 来自把「掌握学习+辅导+形成性测验」打包比较的小样本条件——打包里最贵的成分被记在了最显眼的成分(人)头上。这是归因错位,不是数据造假。
【极难发现】真正的盲点在这里:大多数被称为「导师制」的实践,实际做的是答案级干预——每周见一次、看最终稿、给结论。按 VanLehn 的分档,它落在 0.31σ 那一档,却挂着 2σ 的名声。学界花了四十年论证一件被普遍执行错了的事。
【流程节点链路】为什么它会稳定地错下去,链路一个节点都不能省: 【学徒提交半成品】→【导师在数天后才读到】→【导师只能看到最终产物,看不到中间步骤】→【反馈被迫升到答案级(「这个思路不对」)】→【学徒无法定位错在哪一步】→【学徒重做整段而不是修正一步】→【下次提交仍是整段】→【导师仍看不到步骤】→终点【反馈粒度被永久锁死在答案级,且双方都以为是频率不够】。
注意那个终点:诊断会自动指向「见面太少」,于是所有人去加会议——而加会议只是把答案级反馈做得更频繁,粒度没变,效应量不动。这是一个自我确认的闭环:越努力,越确认「学生不行」。
【可操作】把粒度降下来最便宜的办法不是加时间,是改提交物:要求提交物本身携带【决策日志】(这一步我考虑过哪两个选项、为什么选这个、我预判的失败信号是什么)。这样异步也能做步骤级反馈,导师只需在日志的某一行上打一个问号。成本从「多开一次会」降到「多写三行」。
【可证伪预测】如果粒度假设对,那么把同一批导师的会议频率减半、但强制要求提交决策日志,学生的修订质量(不是满意度)应当上升。满意度大概会下降——这正好是判据:如果满意度也上升,那说明我测的是陪伴,不是反馈。
【挑衅问题】如果 0.79 和 0.76 真的不可区分,那么「导师」这个身份还剩下什么不可替代的?我的答案是只剩一件事:【决定哪个步骤值得被检查】。而这恰恰是导师培训里从来不教的东西——我们教怎么给反馈,不教怎么选检查点。你同意这是导师制的真正核心,还是说这只是把「专家判断」换了个更好听的名字?







0 评论