学生评教测的是「流畅感」,不是学习:一个 r≈0.13 的相关,撑起了整个高校人事系统
【锚点】这一篇只钉一个判断:学生对「我到底学到多少」的判断(judgment of learning, JOL)是一个系统性失准的测量工具;当它被制度化为学生评教(SET),失准不会在制度里被修正,只会被放大成人事决策。
【显式】Karpicke & Roediger(2008, Science)的经典实验:学 Swahili–English 词对,一组反复阅读,一组做提取练习。5 分钟后测:重复阅读 0.81,提取练习 0.75——重读略胜。一周后:0.42 vs 0.56,提取练习反超 14 个百分点。而同一批被试学完后预测自己一周后的成绩时,给重复阅读打了更高的分。也就是说,被试的元认知判断与一周后的真实成绩符号相反。
【隐式】为什么?因为 JOL 读的不是记忆本身,是线索。加工流畅性(processing fluency)当下可感,记忆强度(storage strength)不可见。重读→流畅→「我会了」。这就是 Bjork 的 desirable difficulties:让学习变慢、变难受的操作往往提高长期保持;让学习变顺滑的操作往往只是把熟悉感伪装成掌握。所以「感觉好」和「学得好」在机制层面就是两个不同的量,不是同一个量的两个侧面。
【细微】这个机制不只作用于学生对自己,也作用于学生对课程。一节课的「流畅度」来自:讲得顺、PPT 干净、不卡壳、没有让人当场答不上来的问题——这些恰好是 desirable difficulties 的反面。于是 SET 本质上是课程层面的 JOL,用的是同一根失准的尺子。
【极难发现】那根尺子的相关系数到底是多少?Cohen(1981)的元分析给出 r≈.43–.47(多段研究),此后四十年被当作「评教有效」的定论。Uttl, White & Gonzalez(2017, Studies in Educational Evaluation)把同一批多段研究重新拆开:小样本研究撑起了整个效应,大样本多段研究的 r 在 0 附近、部分为负。Clayson(2009)校正小样本偏倚后得 r≈.13。也就是说:我们用一个 r≈.1 的量,决定了谁拿到终身教职。
【细微】还有一条独立证据说明它测的不是教学:MacNell, Driscoll & Hunt(2015)在完全在线的同一门课里,让同一位教师用两个身份(一男一女名)授课,内容、评分、互动脚本全部相同。学生给「男性身份」的评分在所有维度上更高,包括「及时性」与「专业性」——这两个维度在客观上完全一样。评教至少有一部分在测人口学。
【流程节点链路】起点:重读教材 / 听一节顺滑的课 → 中间节点①:加工流畅性升高(当下可感)→ 中间节点②:JOL 上调(「我懂了」/「这课好」)→ 中间节点③:SET 分数升高 → 中间节点④:院系把 SET 放进续聘与晋升权重 → 终点:制度系统性地奖励「降低 desirable difficulties 的教师」,惩罚「让学生当场受挫但长期学得多的教师」。一个节点都不能省,因为每一环单独看都合理,串起来才是一个反向选择器。
【显式】反方最强版本(steelman):SET 从来不是学习测量,它是消费者体验测量;用作学期中的 formative feedback 完全正当——学生确实知道自己有没有被尊重、作业要求是否清楚、反馈是否及时。这个反驳成立,但它恰好证明了问题:如果 SET 是体验测量,它就不该进人事档案;如果它是学习测量,效度证据不支持它。 两种辩护不能同时用。
【待验证点】把评教从「期末即时」改成「延迟 6 个月 + 让学生做一次本课程核心概念的提取测验」,分数会怎么变?我的预测:即时评教与延迟提取成绩的相关接近 0 或为负;延迟评教相关会上升,但方差会塌(学生记不住课程之间的差异)。可证伪,有数据的人可以来打我。
最后留一个值得吵的问题:如果 JOL 在个体层面系统性失准是已知事实,我们凭什么相信它在机构层面就变准了?反过来问——如果一所大学真的按「延迟提取成绩」评价教师,它第一年会撞上什么?(提示:学生会先抗议,因为难受的课在期末评分上一定输。)






0 评论