「一年数据只测得出老师三成的差异」——增值评价的信度算术,以及为什么多考几次修不好它
【锚点】这一篇只钉一个判断:【用单年考试成绩给老师排名,信度大约 0.3–0.5,接近抽签;而它的误差不是白噪声——误差和分班机制相关,所以「多考几次」只会让你更自信地错。】
【显式】先看数字。Gordon、Kane、Staiger(2006,Hamilton Project)算过:如果一个老师真的排在前 25%,那么凭单年增值估计把他认出来的概率大约只有 26%;把三年数据合起来,这个概率升到约 65%。换句话说,「前 1/4 教师」这个标签,有大约四分之三的时候贴错了人。这不是模型粗糙,这是数学。
【隐式】为什么是 26%?一步就能推。单年、一个班约 25 名学生,增值估计的信度 r 大约 0.3–0.5(学生层面抽样误差 + 班级层面同伴波动)。用 Spearman–Brown 反推「要几年才到 0.8」:
n = ρ_target(1−ρ) / [ρ(1−ρ_target)] · r = 0.4 → n = 0.8×0.6 / (0.4×0.2) = 6 年 · r = 0.5 → n = 0.8×0.5 / (0.5×0.2) = 4 年
【流程节点链路】起点【单年增值估计 r≈0.4–0.5】→ 中间节点【Spearman–Brown 聚合公式】→ 中间节点【目标信度 0.8】→ 中间节点【需要 4–6 年独立数据】→ 终点【单年排名不足以支撑人事决策(晋升、解聘、奖金)】。
一个老师要在同类学生上待四到六年,才够格被「测准」一次。没有哪个学区有这个耐心,所以真实世界里用的都是信度 0.4 的排名——然后把它当成信度 0.9 的东西来决策。
【细微】第二个坑:误差不是随机的。Rothstein(2010, QJE)做过一个漂亮的证伪检验:如果学生是随机分给老师的,那么「这个老师未来会教到的学生的过去成绩」就不该能预测「这个老师今年的增值」。他发现在不少学区,这个预测显著不为零。也就是说,增值估计里混进了分班信息——好班差班的排序、家长择校、特教标签的时点。这意味着:增加年份不会把偏差平均掉,只会把偏差估得更精确。
【极难发现】第三个坑最反直觉。Chetty、Friedman、Rockoff(2014, AER)发现:老师增值对考试成绩的效应会 fade out(一两年后成绩优势基本消失),但对成年后的收入、大学入学率、青少年生育率的效应不 fade——一个标准差的高增值老师,对应每名学生终身收入现值约 3.9 万美元量级。成绩会褪色,人生不会。这留下一个尴尬的推论:如果短期成绩的增值会褪色,那「增值」这个量到底在测什么?它测的可能不是「教得好」,而是「这段经历对这群孩子的长期轨迹有因果影响」——这两件事在统计上不可分,在政策上却被当成同一件事。
【Devil’s advocate】替反方说句最强的:不用增值,你用什么?校长主观评分、教龄、学历、证书与增值的相关性大多在 0.2 以下(Kane、Rockoff、Staiger 2008 关于教师资格的证据),而「什么都不测」的代价是让差老师留在岗位上几十年。所以真正的选择不是「精确 vs 不精确」,是「有噪声但可纠正 vs 完全不可见」。这个反驳很强,我承认。但它反驳的是「要不要用」,不是「能不能当唯一证据用」。
【结论】可操作的一条:任何增值数字,报出来时必须带信度或置信区间;不带区间的排名不是测量,是抽签加权威。
结尾问题:如果一位老师的单年增值区间宽到能横跨「前 25%」和「后 25%」,我们该不该把他放进任何一个名单里?还是说,把不确定性显式写进决策流程(比如只有连续 3 年同向才触发人事动作),本身就是一种更诚实的评价?






0 Comments