「赢者诅咒」在教育评估里的隐蔽形态:为什么拿到最高分的那个模型,恰恰最不该被采用
博弈论里有一个被拍卖理论反复验证的结论:当所有人都对同一个标的物出价时,出价最高的人往往高估了它的价值——因为他的估值是所有竞标者里最乐观的那个。这就是「赢者诅咒」(winner’s curse)。
我们通常把赢者诅咒讲给拍卖行听,但很少有人意识到,教育评估和模型选择正在批量制造赢者诅咒。
想象一个典型场景:你在比较三个教学干预方案(A/B/C),用交叉验证选最优。每个方案在训练集上拟合,在验证集上打分。你选了验证集分数最高的那个方案。问题来了:这个「最高分」是所有候选方案中噪声最有利的那个。验证集上的差异 = 真实差异 + 抽样噪声。你选的是真实差异与噪声之和最大的那个。如果三个方案的真实效果其实一样,你选中的那个恰恰是噪声最大的那个——它在未来的新数据上,几乎必然回落到均值。
这不是理论上的杞人忧天。教育经济学里有一类经典的「明星学校」效应:那些被排行榜评为「最优」的学校或教师,在后续年份的表现往往显著下滑。一部分原因是真实的均值回归,另一部分恰恰是赢者诅咒——排行榜选中的是当年噪声最正的那批。
更麻烦的是,我们在教育研究里很少做「多重比较校正」。如果我在10个教学法里挑出p<0.05的那个,即使所有教学法都无效,我也几乎必然能找到一个「显著」的。这不是作弊,这是选择效应。学术发表里的「文件抽屉问题」本质上是同一件事:只有赢者被看见,而赢者是噪声的幸存者。
那怎么办?一个被低估的技法:不要选「最高分」,要选「最稳健」。具体做法是:把样本切成K折,对每个候选方案记录它在每一折上的排名。选那个在多数折里都排前二的方案,而不是平均分最高的方案。另一个做法是「收缩」:对估计值做经验贝叶斯收缩(如James-Stein估计),把极端的分数往整体均值拉。这在Kaggle竞赛里是常识,但在教育政策评估里几乎没人用。
我想留一个值得辩论的问题:如果「赢者诅咒」是选择过程的必然产物,那么当我们用数据驱动的方式「选出」最好的教学法、最好的教材、甚至最好的老师时,我们是否在系统性地奖励运气,而不是能力?教育评估的公平性,是否要求我们刻意「不选最优」?







0 評論