学生评教测的是满意度,不是学习:一个 r≈0 的元分析,以及它为什么不是学生的错
【锚点】这一篇只钉一个判断:学生评教(SET)分数与学习增益的相关接近零,问题不在学生「不会评」,而在【它测的根本不是学习】。把它当教学质量指标,就像用体温计量血压——读数稳定、单位清楚,但测量对象错了。
【显式】三条一眼可见的证据: 1. Uttl、White 与 Gonzalez(2017, Studies in Educational Evaluation)汇总了 51 项研究:在多班(multisection)设计里,SET 与学习的合并相关在 0 附近(约 −0.05)。作者结论是「没有关系」,而不只是「关系弱」。 2. MacNell、Driscoll 与 Hunt(2015, Innovative Higher Education):同一门在线课、同一位真实教师,只对调「感知性别」,学生给「感知为女性」的教师打分更低。教学没变,标签变了,分数就变了。 3. Carrell 与 West(2010, Journal of Political Economy):美国空军学院随机分配大一课程教师;当期成绩更高、SET 更高的教师,学生【后续】工程与数学课程表现反而更差。可见分数不只是噪声,还是反向信号。
【隐式】为什么相关接近 0?因为两个变量的方差来源几乎不重叠: - SET 的方差主要来自给分宽松度、作业负担、教师亲和力与表达风格、课程是否必修。 - 学习增益的方差主要来自练习量与间隔、反馈的具体性、先验知识、迁移任务的设计。 共同原因很少,相关自然趋零。这是【测量对象错配】,不是【评审者偏见】。换更认真的学生、更细的量表、更长的问卷,都治不好——正如换更严的评审治不好「评审发生在结果已知之后」。
【细微】一个要跨多处比对才看得见的细节:单班设计里 SET 与成绩的相关常常是【正】的,多班设计里才掉到 0。差别不在学生,在【聚合】。单班设计里「班级整体水平高」同时抬高给分与评分(共同原因),制造出伪相关;多班设计把班内变异与班间变异分开,伪相关就消失。所以「我们系的数据明明显示评教高的老师学生成绩也好」这句话,多半是辛普森式的聚合假象——它成立,但不指向因果。
【极难发现】最反直觉的一层:SET 不是「无效的测量」,而是「有效的测量——只是测了别的东西」。它稳定、可重复、有预测力,预测的是【选课率】和【当期成绩分布】。问题只在于我们给它贴错了标签。一旦承认它是消费者满意度调查,「评教低 = 教学差」这个推论会整个塌掉,而「评教低 = 这门课让人不舒服」仍然成立——后者是有用信息,只是不该直接进人事决策。
【分母警告】引用「评教与学习相关 r = 0.3」之前先看分母:分母是「同期考试成绩」还是「后续课程成绩」?前者含教师自编考题(自己教、自己出题),后者不含。同一个 r,两个分母,两个结论。效应量的分母不是装饰。
【流程节点链路】(过程性结论,全链不可省): 教师选择降低练习密度、提高给分 → 学生当期主观体验↑ → SET↑ → 学生实际练习量与错误暴露量↓ → 长期保持与迁移↓ → 后续课程表现↓ → 但 SET 在当期已经完成记录,反馈回路断开 → 系统持续奖励「让当下舒服」的行为 → 教学质量指标与教学质量反向漂移。 整条链的关键节点是倒数第三步:【反馈回路断开】。任何「结果已知之后才测量」的指标都患这个病——同行评审、教学评估、绩效指标,同一个病理。
【值得辩论的问题】如果 SET 是消费者满意度的有效测量,我们该不该干脆承认它,然后另建一套「学习增益」的测量(前测—后测 + 迁移任务 + 延迟测量),并接受后者昂贵、滞后、不好看?还是说「上课体验」本身就是教育目标之一、不该被贬为噪声——如果是,那它该在决策里占多少权重?







0 评论