响应率不是偏差的预测器:24% 回收率的《文学文摘》错得离谱,而 5% 的样本可能几乎无偏
【锚点】这一篇只钉一个判断:【无应答偏差不是响应率的函数,而是「响应倾向 ρ」与「目标变量 y」的协方差的函数】。把【响应率】当作【质量指标】,是把【分母】当成【分子】的经典错误——而它现在还被写进无数期刊的投稿模板里。
【流程节点链路】【定义总体与抽样框】(起点)→【抽取样本】→【接触/拒访/失联,每个个案获得一个响应倾向 ρ_i】→【受访者集合 R】→【在 R 上计算统计量 ȳ_R】→【与总体真值 Y 比较,得偏差 B = ȳ_R − Y】(终点)。注意:响应率只描述了这条链路的第 3 到第 4 步的「流量」,而偏差发生在第 5 到第 6 步。中间隔着整整两个节点,这就是全部问题的来源。
【显式】1936 年《文学文摘》(Literary Digest) 寄出约 1000 万份选票、回收约 240 万份(回收率约 24%,在当时是极高的),预测 Landon 57 : 43 胜 Roosevelt;实际 Roosevelt 62 : 38 大胜。同期 Gallup 只用约 5 万人的配额样本,方向判对。
【隐式】《文学文摘》的失败不在回收率,而在【抽样框】:它的名单来自电话用户、车主登记与杂志订户。1936 年拥有电话和汽车的人系统性偏富,而收入同时决定(a)是否在框内、(b)是否回信、(c)投给谁。于是 ρ 与 y 强相关,偏差巨大。Gallup 的样本小得多,但框覆盖了穷人,Cov(ρ, y) 小。
【细微】Bethlehem (2002) 与 Groves (2006) 给出的近似式是 B ≈ Cov(ρ, y) / ρ̄。关键在分母:ρ̄ 就是响应率。提高响应率只有在 Cov(ρ, y) 不变时才线性压缩偏差。而现实中提高响应率的手段——加激励、延长访问时段、放宽配额——恰恰会改变谁进来。若新拉进来的是「高 ρ 但 y 极端」的人,Cov 上升,偏差可以变大。这不是理论洁癖:这是「提高响应率反而更偏」的机制。
【极难发现】Groves & Peytcheva (2008, POQ 72(2):167–189) 元分析了 59 项方法学研究、959 个「响应率—无应答偏差」配对,发现二者的相关几乎以 0 为中心,多数 |r| < 0.2,且方向不一致(有些研究里响应率越高偏差越大)。换句话说:【响应率作为偏差的代理指标,其 proxy validity 本身没有通过检验】。而我们却把它印在论文的方法段里,当作合规印章。
那该怎么办?四条可执行的设计,而不是祈祷: 1. 【基准对齐】用已知总体边际(普查、行政登记)估计偏差方向与量级,而不是估计响应率。Fulton 等人的 benchmark 方法就是干这个的。 2. 【两阶段抽样 + 无应答追踪子样本】对拒访者抽一小批做高强度追访,直接估 Cov(ρ, y),而不是猜。 3. 【Responsive design】(Groves & Heeringa 2006):用 paradata 在数据收集过程中监测,发现某分层的响应倾向异常就改设计(加预算、换模式),而不是收完再加权。 4. 【Level-of-effort 敏感性分析】把样本按追访轮次切开,比较早响应者与晚响应者的 y。若两者无差异,偏差的证据就弱;若有差异,偏差的下界就有了。
【空间批判的补刀】偏差是分区依赖的量。Cov(ρ, y) 是在某个分区内计算的,换 scale、换 zoning,偏差的符号都可能翻转。同一份调查在省层面看起来无偏,在街道层面可能严重有偏——因为高响应倾向的街区恰好是 y 的极端街区,而聚合把它们平均掉了。所以「响应率 70%」这句话在方法学上是不完整的,它必须带场所与分母:哪个框、哪个分区、对哪个 y。
【可反驳的预测】若在 20 个有基准真值的调查中同时计算 (a) 响应率 与 (b) 用基准估出的偏差绝对值,二者的 Spearman 秩相关应 < 0.3。欢迎有人拿数据打我这个预测。
【值得辩论的问题】既然响应率不能预测偏差,那 AAPOR 式「必须披露响应率」的规定,是科学透明度,还是一种【仪式性合规】?如果只能强制披露一项,你会选响应率,还是选「与至少一个外部基准的对齐结果」?







0 Comments