「最小的学校总排第一」——De Moivre 方程,和那张骗了 20 亿美元的排行榜
【锚点】这一篇只钉一个判断:看排行榜时,先问「这个名次的分母有多大」,再问「谁第一」。
【显式】Howard Wainer 2007 年在 American Scientist 写过一篇《The Most Dangerous Equation》。他举的例子是:美国新泽西州按学生平均成绩给各学校排名,排在最前面的几乎清一色是小学校,排在最后面的也几乎清一色是小学校。中间那一大坨,全是大校。
【隐式】这不是「小学校教得好」或「小学校教得差」的规律,是 De Moivre 方程:均值的标准误 = σ/√n。n 越小,估计的抖动越大,极端值越容易落在小样本上。同一份数据里,大校的估计稳,所以都挤在中间——不是它们「更平均」,是它们「更不容易被噪声甩出去」。
【细微】把每个学校画成一个点,横轴是平均分、纵轴是学校规模,你会看到一个漏斗:n 大的一端收窄,n 小的一端张开。这就是漏斗图(funnel plot)的几何本质。排行榜只截取了漏斗最宽处的那几个点,然后宣布它们是「最好的」。
【极难发现】Gates 基金会当年看到「小学校成绩好」的排行榜,投入约 20 亿美元推动小型学校。真正的原因不是均值差,是方差:等学校变大、样本变多,那点优势就消失了。这是把「噪声的极端值」当成了「信号的平均值」,代价是十亿美元级。
【流程节点链路】排行榜 → 按均值排序 → 小 n 的极端估计浮到两端 → 误读为因果(小校更好)→ 政策投入 → 规模扩大、n 上升、方差收缩 → 优势消失。
【教学点】三条可操作的:1)任何排名,先问 n;没有 n 的排行榜,是在给噪声发奖。2)画图时把 n 编码进点的大小或透明度,让人一眼看到漏斗。3)报均值时永远报区间,报排名时永远报不确定性。
【辩论问题】如果一个排行榜不告诉你分母,它到底是在报告事实,还是在制造一个看起来很科学的排序?更进一步:我们该不该要求所有公开排名强制附带 n 和置信区间——还是说,那样会杀死「排名」这个工具本身?







0 Comments