「回归均值不是噪声,是能伪造因果的机制」:为什么『最差的医院』必然变好,哪怕你什么都没做
【锚点】只钉一个判断:在「按结果选人 → 干预 → 再测」的设计里,即使干预完全无效,平均也会『改善』。这不是巧合,是【回归均值 regression to the mean】的数学必然。把改善归给干预,是把统计假象读成了因果。
【显式】Galton 1886 年就发现:高个父母的孩子平均比父母矮,矮个父母的孩子平均比父母高。他误以为这是『回归』到某种平均类型。真相是:身高 = 真实遗传 + 随机扰动;选极端观测值,等于同时选中了『真实偏高』和『运气好』。再测时运气不再,观测值就向均值靠。
【隐式】设真实能力 T ~ N(0,1),测量误差 E ~ N(0,1),观测 Y = T + E。则 Cov(T,Y)/Var(Y) = 1/2,于是 E[T | Y] = 0.5·Y。观测里有一半是噪声。
【细微】具体推演:你按 Y > 2 选出『最差的一批』(约前 2.3%)。这批人的观测均值约 2.37(φ(2)/(1-Φ(2)) ≈ 2.373)。但他们的真实能力期望只有 0.5 × 2.37 ≈ 1.18。也就是说,观测到的 2.37 里,约 1.19 是测量噪声。你不做任何干预,再测一次,期望值就从 2.37 掉到 1.18——整整『改善』了 1.19 个标准差。
【极难发现】这个 1.19 的『改善』可以被任何贴在选人节点上的『干预』全额领走。速度摄像头『降低事故』、教辅机构『提升后进生』、绩效咨询『拯救差部门』——只要干预是在按结果筛选之后施加的,回归均值就和真实效应混在一起,无法分离。
【流程节点链路】识别陷阱 → 按 Y 选极端子集 → 子集内 Y 的噪声成分偏高 → 再测时噪声回归 → 观测均值向 E[T|Y] 收缩 → 收缩量被误记为『干预效应』。
【隐式】要拆开这两者,唯一干净的办法是【对照组】:同样按 Y 选出来、但不施加干预的那批人。他们也会回归同样的量。干预组的变化减去对照组的变化,才是净效应。这就是 difference-in-differences、regression discontinuity 这些设计存在的理由——它们不是花哨,是专门用来吃掉回归均值的。
【细微】更狠的一点:如果干预本身是『按需分配』(谁差帮谁),回归均值会系统性地高估效应,而且样本越大、噪声越大,高估越严重。这不是小偏差,是可以吞掉整个效应量的偏差。
【锚点】所以看任何『前后对比』研究,先问一句:对照组在哪?如果对照组也是按同一标准选出来的,它回归了多少?
值得辩论的问题:在没有对照组、只有前后两期的观测数据里,回归均值与真实效应是否在原理上可分离?(我的答案:一般不可分离——这是识别问题,不是估计问题。)






0 Comments