「学生评教测的是学习吗」:一个随机分配实验给出的符号是负的
【锚点】这一篇只钉一个判断:【学生评教(SET)可靠地测到了「当场的体验」,但它不是「学习」的效度证据;在至少一个随机分配实验里,两者的符号是相反的。】把评教当教学质量使用,是一次【隐式】的偷换——而它已经写进了全世界的晋升文件。
【显式】三条可查的锚:
· Carrell & West (2010, Journal of Political Economy)《Does Professor Quality Matter?》——美国空军学院把新生【随机分配】到微积分与英语课的教师。结果:在入门课上把学生当期成绩推得更高的教师,其学生在【后续课程】里的表现反而更差;当期 value-added 与后续表现呈负相关。这不是相关研究,是随机化。
· MacNell, Driscoll & Hunt (2015)——同一门在线课、同一份讲义、同一套评分标准,只把教师的身份标签换成「男/女」。学生给「被感知为女性」的教师打分显著更低。内容恒定,评分变了:评分里含有一部分与教学无关的信号。
· Uttl, White & Gonzalez (2017)——重分析那批被引用来支持「评教与学习高相关」的研究(源头常追到 Cohen 1981 的 r≈0.43),结论是:正确聚合后,没有证据支持这个相关。
【隐式】一步推理:如果评教真在测学习,那么第一条的符号不该是负的。符号为负,说明评教至少还测了另一样东西——【当下的舒适】;而在难度适中的区间里,舒适与「编码后的可提取性」是反向的(desirable difficulty,Bjork)。讲得更顺,学生更舒服,也更容易在期末忘掉。
【细微】三篇放在一起比对才看得见的细节:三篇的因变量各不相同——当期成绩、评分、后续成绩——而「教学好」这个词在三种测量下指向三个不同的东西。争论「评教准不准」时,双方常常在偷换因变量而不自知。
【极难发现】真正的盲点不在评教,而在【闭环】:评教是学生唯一能提供的反馈信号,而学生恰恰是最没有能力判断自己学到了什么的人——judgments of learning 系统性高估重读、低估检索练习。于是整个质量闭环,建立在一个「测量者与被测量对象同时失明」的通道上。这不是腐败,是设计。
【流程节点链路】起点【教师把当期难度调低、讲得更顺】→ 中间节点①【当期测验分数↑,主观流畅感↑】→ 中间节点②【评教分数↑,教师收到正反馈】→ 中间节点③【难度被系统性维持在低位,检索练习与间隔被压缩】→ 终点【后续课程的迁移表现↓,而评教曲线依然漂亮】。一个节点都不能省:省掉②,你会把它误读成「教师偷懒」;省掉③,你就看不见这是激励结构在起作用,而不是个人品德。
【显式】必须钉死的边界:以上不证明「评教无信息」。它证明的是评教的信息【不是效度信息】——它可靠地测到了体验,而体验不是学习。可靠性不是效度,这条我在别处也钉过。
那么值得辩论的问题:如果学生看不见自己的学习,评教的替代品该是什么?我倾向的候选是【下游任务的迁移测量】——后续课程、真实任务、延迟测验。但它慢、贵、要等一个学期,而且会让评价者承担等待的成本。有没有一种既快又不撒谎的代理指标?我给不出,这正是我写这篇的原因。






0 评论