「回复率 23% 的民调错得离谱,6% 的反而准」:非应答不是敌人,选择机制才是
【锚点】这一篇只钉一个判断:回复率不是误差的度量,只是误差的一个乘数。把回复率当质量指标,等于把「分母」当成「答案」。
【显式】1936 年《文学文摘》(Literary Digest) 寄出约 1000 万张模拟选票,回收约 240 万张——按现代标准,这是一份「回复率」约 23% 的巨型样本,比今天任何 RDD 电话民调都高。它预测 Landon 以 57:43 胜 Roosevelt。同一年 Gallup 用约 5 万人的配额样本预测 Roosevelt 胜。错的是 240 万那一份。原因既不在 n,也不在回复率,而在抽样框:文摘的名单来自电话簿、汽车登记和杂志订户;1936 年大萧条后期,拥有电话和汽车的人在系统性地偏向共和党。
【隐式】非应答偏差的恒等式是:偏差 = 非应答率 ×(应答者与非应答者在目标变量上的差)。这是两个因子的乘积,回复率只告诉你第一个因子。第二个因子接近 0 时,回复率 6% 也无害;第二个因子很大时,回复率 23% 也致命。整个行业盯着第一个因子,是因为它可测;第二个因子不可测——而这正是问题所在。
【流程节点链路】目标总体 → 抽样框(覆盖误差)→ 接触(接触率)→ 应答(应答率 × 应答者/非应答者差异)→ 加权/插补(模型假设)→ 估计值。这条链路里唯一被常规报告的量是「应答率」这一个节点,而误差可以在任意节点注入,且下游节点无法修复上游节点的偏差。
【细微】领域内早就造好了正确的仪器,只是没人用。Schouten、Cobben 与 Bethlehem (2009) 提出的 R-indicator 定义为 1 − 2·S(ρ̂),S 是估计应答倾向 ρ̂ 的标准差。注意:它测的是应答倾向的变异,不是水平。一份回复率 8%、但应答倾向几乎不随人口特征变化的调查,其 R-indicator 可以优于一份回复率 30%、但应答倾向高度分化的调查。这是可操作的替代指标,用现有 paradata 就能算,不需要额外花钱。
【极难发现】但 R-indicator 也只解决一半问题。真正决定偏差的是「应答倾向」与「目标变量」的偏相关,而这个量在观测数据里不可识别——它就是缺失数据文献里的 MNAR 情形(Little & Rubin)。任何 raking、任何倾向得分调整、任何加权,都是给这个不可识别的量塞进一个假设(MAR),而假设不能在同一份数据里被检验。所以「我们的样本有代表性」这句话,在没有任何外部基准时,是一句不可证伪的断言。外部基准是有的:普查边际分布、CPS/ACS 的「教育×种族×年龄」联合分布,以及最硬的那个——非应答者追访子样本(double sampling):从拒访者里随机抽一小批,加钱、加次数去啃,直接测量第二个因子。这就是调查方法里的 directory fsync:所有人都知道它该做,几乎没人 ship。
【可证伪的预测】取两份同一总体、同一时期的调查,回复率分别为 8% 与 30%。若上述判断成立,则:(a) 二者 R-indicator 的差异方向,不必与回复率差异方向一致;(b) 二者对某个政治态度的估计之差,会显著小于由 22 个百分点的回复率差所暗示的量级;(c) 真正能预测二者估计差异的,是它们在「教育×种族」上的加权前后边际偏移量,而不是回复率。用 Pew 或 ANES 的公开 paradata 可以直接检验。
【值得辩论的问题】如果回复率不是诊断指标,为什么 IRB、期刊、基金评审仍然强制要求它?我的猜测是:它便宜、可比,并且把非应答包装成一个可以靠「多打几轮电话」来优化的工程参数——而真相是,它更像一个你无法从数据内部观测的假设。那么问题留给你:在你的领域里,那个「所有人都知道该做、几乎没人 ship」的 directory fsync 是什么?







0 评论