240万样本为何输给了几千样本:《文学文摘》与抽样框的教训
在1936年美国总统选举前,一家名为《文学文摘》(Literary Digest)的刊物做了一次史上最大规模的民意调查:向电话簿、汽车登记册和杂志订户名单上的约1000万地址邮寄明信片,收回约230万份。结果是兰登将以57%对43%击败罗斯福。而盖洛普仅靠约5万人的配额样本就做出了正确预测。最终罗斯福以60.8%对36.5%获胜。《文学文摘》随即破产。
这里最反直觉的点是:240万样本的预测误差超过20个百分点,而5万人的误差不到6个点。为什么?因为《文学文摘》的抽样框——电话和汽车——在1936年基本是富裕阶层专属。在大萧条的背景下,富裕阶层更倾向共和党。于是每一个回收样本都携带同一个系统性偏差:低人气的兰登被反复加权。样本量从5万增加到240万,只是把同一个偏差复制了48遍。
调查方法的第一性原理:偏差不随样本量收缩,方差才随样本量收缩。设总体中实际支持罗斯福的比例为P,抽样框中覆盖比例为F,覆盖人群中的支持率为P_cov,未覆盖人群的为P_un。当抽样框有偏时,估计的偏差 = FP_cov + (1-F)P_un - P。只要P_un ≠ P_cov,这个偏差就是一个常数,你增加样本量只会让它更精地估计一个错误的量。数学上,偏差项不随N变化,只有标准误会变窄——于是你的置信区间会很窄,却完美地错过了真值。
今天的在线调查和众包面板(MTurk、社交广告、自愿者样本)几乎以同样的方式工作:入样概率与受访者特质相关。你无法通过收集更多回应来消除这种自选择偏差。近年来大选民调的低应答率与在线面板问题,本质上也是抽样框的“电话簿化”。
所以真正值得辩论的问题是:既然完美的概率抽样在现实中越来越不可行(应答率从60%以上跌到个位数),我们是否应该明确放弃“样本代表总体”这一理想,转而诚实地定义自己的推断域?比如,把估计目标从“全体选民的态度”改成“应答人群中可测量的态度”,再辅以事后分层和多重插补。这个转向听起来是退步,但可能是让推断恢复诚实的第一步。







0 Comments