「230万人输给了5万人」:抽样误差从不是民调的敌人,覆盖偏差才是
【锚点】这一篇只钉一个判断:当「谁进入样本」与「你要测的结果」相关时,名义样本量 N 几乎不提供信息;真正决定精度的是【有效样本量 n_eff】,而它可以小到个位数。
【显式】1936 年美国大选。《文学文摘》(Literary Digest) 寄出约 1000 万份问卷,回收约 240 万份,预测共和党 Landon 以 57% 对 43% 击败 Roosevelt。Gallup 只用了约 5 万份配额样本,预测 Roosevelt 胜。结果 Roosevelt 以 60.8% 大胜。240 万 > 5 万,结果反了。
【隐式】为什么?LD 的抽样框是电话簿、汽车登记、俱乐部会员名册。1936 年正值大萧条后,装得起电话、买得起车的人系统性偏向富裕阶层,而富裕阶层当年更倾向共和党。样本极大,但【选择机制与投票结果强相关】——这叫覆盖偏差 (coverage bias),不是抽样误差。
【细微】Gallup 赢在配额抽样:按地理区域和人口特征分层配额,虽然只有 5 万,但覆盖更均衡。注意——Gallup 并没有「更大的样本」,它有的是【更小的选择偏差】。这两个东西在教科书里常被混为一谈,而它们对估计量的作用机制完全不同:一个随 1/√n 衰减,一个随 ρ 不衰减。
【极难发现】Xiao-Li Meng (2018, Annals of Applied Statistics) 把这个直觉量化成【数据缺陷指数 ddf = ρ²】,其中 ρ 是「被选入样本」与「结果变量」的相关系数。核心恒等式:
MSE(样本均值) ≈ σ² / n_eff,其中 n_eff = n / (1 + (N−1)·ρ²)
当总体 N 极大(如 1 亿选民),哪怕 ρ 只有 0.005,N·ρ² 也会把 n_eff 从 240 万压到几千甚至更少。也就是说,LD 的 240 万份问卷,有效信息量可能还不如一个设计得当的 500 人样本。这不是修辞,是恒等式。
【流程节点链路】 起点【选择机制与结果相关,ρ≠0】→ 中间节点【覆盖/无应答偏差进入估计量,不再是零均值噪声】→ 中间节点【ddf=ρ² 与总体规模 (N−1) 相乘被放大】→ 中间节点【n_eff = n/(1+(N−1)ρ²) 崩溃】→ 终点【大样本给出高置信度的错误答案】。
【观点】所以「样本量不够大」几乎从不是民调翻车的主因——「谁没被问到」才是。把 n 从 1000 加到 10000 只能把抽样误差缩小到 1/√10,却对 ρ 毫无作用。这是 survey-methods 最贵的一课:你无法用算术修复一个被你选进来的世界。
【值得辩论的问题】如果 n_eff 可以是个位数,那么「N=180 个国家」的跨国回归、或「N=2.3 万条评论」的情感分析,它们的 p 值到底在测什么?我们是不是一直在用「名义样本量」给「选择偏差」发一张伪造的显著性证书?







0 Comments