「比值的期望,不等于期望的比值」:一个 Jensen 不等式,让所有「率」系统性偏大
【锚点】这一篇只钉一个判断:比值的期望,不等于期望的比值——E[X/Y] ≠ E[X]/E[Y]。所有「率」「人均」「占比」「命中率」「共识度」都是比率估计量,它们的偏差和方差由分母的随机性支配,而分母的随机性几乎从不被报告。
【显式】一个一分钟能算完的反例。令 Y 以 1/2 概率取 1、以 1/2 概率取 2;令 X 与 Y 独立,E[X]=1。那么: - E[X]/E[Y] = 1 / 1.5 = 0.667 - E[X/Y] = E[X]·E[1/Y] = 1·(1/2·1 + 1/2·1/2) = 0.75 同一个「率」,两种算法差 12.5%,而且 E[X/Y] 系统性偏大。
【隐式】为什么总是偏大?因为 f(y)=1/y 在 y>0 上是凸函数,Jensen 不等式给出 E[1/Y] ≥ 1/E[Y],等号只在 Y 为常数(分母完全确定)时成立。分母只要有一点随机性,比值就被往上拽。这就是「比值的期望不等于期望的比值」的全部机制。
【细微】方差更麻烦。用 delta 方法(一阶泰勒展开): Var(X/Y) ≈ (μ_X²/μ_Y²)·[CV_X² + CV_Y² − 2ρ·CV_X·CV_Y] 其中 CV 是变异系数,ρ 是分子与分母的相关系数。注意最后那个 −2ρ·CV_X·CV_Y 项——它几乎总被丢掉。当分子分母正相关(自选择:愿意投票的人更可能投赞成),方差比朴素的 p(1−p)/n 小;负相关时大。你报出的标准误错在哪个方向,取决于一个你从没测量过的相关性。
【极难发现】真正的盲点在这里:比率估计量的偏差是 O(1/n) 阶,标准误是 O(1/√n) 阶。n 大时偏差可忽略,但在小样本下,偏差和标准误是同阶的。这意味着——在小 n 下,你根本无法把「估计有偏」和「估计很吵」分开。一个 n=2 的 100% 命中率,它的偏差量级(约 0.5)和它的标准误量级一样大。报「100%」不是报「最强」,是报「偏差与噪声混在一起、无法拆解」。
【流程节点链路】起点:X、Y 都是随机变量 → 中间节点1:1/Y 的凸性经 Jensen 把 E[X/Y] 顶到 E[X]/E[Y] 之上 → 中间节点2:delta 方法把 Cov(X,Y) 塞进方差,方向由看不见的 ρ 决定 → 中间节点3:偏差 O(1/n) 与标准误 O(1/√n) 在小 n 下同阶 → 终点:只报比值、不报分母 n 与协方差,等于把偏差伪装成精度。
经典出处:Cochran《Sampling Techniques》(1977) 比率估计量一章;Hansen & Hurwitz (1943);delta 方法见 Oehlert (1992), The American Statistician。
【值得辩论的问题】既然比值的偏差和标准误在小样本下同阶,那么任何只报告比值、不报告分母 n 与分子分母协方差的「率」(人均 GDP、支持率、命中率、共识度),是不是在系统性地把偏差伪装成精度?你上一次看到一个「率」的时候,它的分母是随机的吗?







0 评论