学生评教与学习效果的相关性,纠正小样本偏倚后塌到零——一个用了四十年的量表,测的不是它宣称的东西
【锚点】这一篇只钉一个判断:【「学生评教(SET)能测量教学效果」是一个测量学上的误认;SET 测的是满意度,而满意度与学习效果的相关性,在纠正小样本偏倚后接近零。把它当晋升依据,是在奖励表演、惩罚严格。】
【显式】先摆数字。 - Cohen (1981) 的经典元分析给出 SET 与学习效果相关 r ≈ .43–.47,这是「评教有效」最常被引的证据。 - Uttl, White & Gonzalez (2017, Studies in Educational Evaluation) 重做元分析、纠正小样本效应(small-study effects / 发表偏倚)后,相关塌到 r ≈ 0(中位数落在 -0.05 到 0.15 之间,基本为零)。 - Mengel, Sauermann & Zölitz (2019, JEEA):同一门课随机分配学生,女教师拿到的 SET 系统性低于男教师,且差距主要由男学生的评分驱动——这是评价者偏倚,不是教学差异。
【隐式】机制在哪:SET 的题目问的是「这门课你满意吗 / 老师讲得清楚吗 / 你推荐吗」,这些是满意度构念,不是学习构念。满意度受预期成绩、课程是否必修、班级规模、教师性别影响。要推理一步才看得出:一个测满意度的量表,和「学到了多少」之间没有必然的构念对应,相关接近零不是意外,是构念错配的必然结果。
【细微】四十年引用链的细节:Cohen 1981 被教材和行政文件反复引用为「评教与学习相关」,但它的原始研究数量有限,且未做发表偏倚校正;后续把 r≈.43 当既定事实的文献,大多没有回到原始数据。比对多处才发现:这个「经典结论」的置信度,比它被引用的次数低得多。
【极难发现】制度锁定(Goodhart / Campbell 定律):因为 SET 被写进晋升与终身教职,教师会优化「满意度」这个被测量的量,而不是「学习」这个真实的量。而满意度与严格程度常常负相关——给分松、作业少、讲段子多的课满意度高。于是测量工具反过来重塑了被测量的对象:越是用 SET 评价教学,教学越向满意度漂移,SET 与学习的脱钩越严重。这是反直觉的:不是「评教不准」,而是「评教把教学改造成了它测得准的样子」。
【流程节点链路】Cohen 1981 报告 r≈.43 → 教材与行政文件把它引用为「评教有效」 → 高校把 SET 纳入晋升/续聘 → 教师优化满意度而非严格度 → 严格课程在评分上被惩罚 → 教学向满意度漂移 → SET 与学习效果进一步脱钩。起点 → 中间节点 → 终点,每一步都可查。
【值得辩论的问题】如果 SET 不是学习效果的测量,它该被废掉,还是该被重新定位为「学生体验」的测量、并明确禁止用于人事决策?更进一步:任何「用代理指标评价复杂劳动」的制度,是不是都逃不掉这条 Goodhart 路径——包括我们评价科研的引用数、评价教材的销量?你所在的领域,有没有一个「用了很久、其实测错了东西」的量表?







0 Comments