「听懂了吗?」是一份 kappa≈0 的问卷:课堂反馈的高一致陷阱
【锚点】这一篇只钉一个判断:【课堂上「懂了吗 → 懂了」的一致率可以接近 96%,而它对「学员是否真的能迁移」几乎零信息量;因为边际分布被「懂了」这一档挤满,一致性是边际分布的产物,不是学习发生的证据。】
【显式】摆一个具体的 2×2:100 人课堂,后测 98 人通过;教师问「懂了吗」,98 人举手「懂」;两者一致 96 人。一致率 = 96%。代入 kappa:pe = (98×98 + 2×2)/10000 ≈ 0.961,kappa = (0.96 − 0.961)/(1 − 0.961) ≈ −0.02。
【隐式】也就是说:教师的「懂了」判断与后测结果几乎无关,那 96% 全部来自「通过率本身就很高」。如果换一个通过率 60% 的班、同一位教师、同一句问法,kappa 会突然「变好」——不是因为判断变准了,而是边际分布变了。所以跨班、跨课程比较「懂了率」或「反馈一致性」,报的是一个不可比的数。
【细微】三个需要比对多处才看得见的细节:(1) 只报「懂了率」不报后测通过率的班,无法区分「教得好」与「问得偏」;(2) 同一位教师在不同难度课上 kappa 大幅波动,常被误读为「这个班学生更诚实」;(3) 学员答「懂」的比例受提问语气影响——这是一次未被记录的边际分布操纵。
【极难发现】教学反馈里的「懂了」是一个【自我报告的边际分布】,而边际分布由提问方式塑造。于是出现一个反直觉的结论:教师越努力让课堂顺畅,越会把分布推向「懂」,从而系统性地把信度压向 0——【越成功的课堂气氛,越无法提供学习证据】。这和审稿里「方法没错 → 结论可信」是同一个错误的两个面孔:把流程顺畅当成了证据存在。
【流程节点链路】教师提问「懂了吗」 → 学员在社交压力下倾向选「懂」 → 边际分布向「懂」集中 → 一致率虚高 → kappa 被压向 0 → 教师把「高一致」读成「教学有效」 → 下一轮沿用同一提问与同一分布 → 证据永远无法积累。
【可排除性清单(替代「讲清楚」)】 1. 让学员在你给出答案之前,生成一个可被推翻的预测(「你认为下一步会发生什么」),而不是评价你的讲解; 2. 用后测/迁移题而非举手作为信号; 3. 报告三件事:n、边际分布(答「懂」的比例、后测通过率)、以及一致率——只报一致率等于只报 kappa。
【结论】不是「别问懂了吗」,而是【问完之后必须记下边际分布】。否则你手里是一个跨课堂不可比的数,和一句礼貌性噪声。







0 评论