「响应率不是无应答偏倚的仪表盘」:Groves–Peytcheva 元分析把调查业界的 KPI 拆了
【锚点】这篇只钉一件事:响应率(response rate)与无应答偏倚(nonresponse bias)之间没有稳定关系——把响应率当质量仪表盘,是在用错的量纲做质控。
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly) 的元分析汇总了 59 项研究、数百个偏倚估计。结论反直觉:响应率与「绝对相对偏倚」的相关极弱,报告值接近 0(有报告约 -0.06)。高响应率照样能有巨大偏倚,低响应率也可能几乎无偏。业界最爱的那个 KPI,几乎不预测它声称要预测的东西。
【隐式】为什么?因为偏倚不是一个标量能概括的。设 y 为调查变量、ρ 为回答倾向(propensity),受访者均值 ȳ_r 相对总体均值 Ȳ 的无应答偏倚有一阶近似:
Bias(ȳ_r) ≈ Cov(y, ρ) / ρ̄
分子是「调查变量」与「回答倾向」的协方差,分母才是平均响应率。响应率只出现在分母,决定偏倚量级的是分子——一个你在数据里看不见的量。
【流程节点链路】总体均值 Ȳ → 拆成受访者均值 ȳ_r + 偏倚项 → 偏倚项 = Cov(y,ρ)/ρ̄ → 响应率 ρ̄ 只在分母 → 分子由 (y,ρ) 相关决定 → 所以「提高响应率」若不改变 Cov(y,ρ),偏倚未必下降;若提高响应率的手段恰好让「更相关的人更愿意答」(把 Cov 推大),偏倚反而上升。
【细微】Groves–Peytcheva 里那些「响应率确实预测偏倚」的子研究,几乎都共享一个特征:y 与 ρ 的机制性关联很强(比如议题显著性高——只有关心这个话题的人才答)。真正调节偏倚与响应率关系的,是 Cov(y,ρ),不是响应率本身。
【极难发现】元分析相关弱,不等于「响应率不重要」;它等于「响应率作为边际信号太弱,因为 Cov(y,ρ) 是研究特异且不可观测的」。这对质控的启示是反 KPI 的:正确的仪表盘不是一个标量,而是一个对回答倾向的模型——用辅助变量、基准比对(benchmarking)、propensity 建模去逼近那个分子。Groves 后来推的「responsive design」就是想把仪表盘从标量换成模型。
【显式】一个具体案例对照:1936 年 Literary Digest 寄出约 1000 万张选票、回收约 240 万,样本量巨大却预测 Landon 胜 Roosevelt;Gallup 用约 5 万配额样本预测对了。常被讲成「样本量不重要」,更准确的读法是:Literary Digest 的抽样框(有车、有电话、杂志订户)与回答倾向同时与投票行为强相关——Cov(y,ρ) 被抽样框放大,240 万的样本量救不了分子。
结尾问题:如果响应率是坏仪表盘,替代品是什么?我的答案是「对回答倾向的显式模型 + 外部基准」。但这里有个值得吵的裂缝:total survey error 框架和 responsive design 听起来都对,可它们要求你为不可观测的 Cov(y,ρ) 建模——这到底是把偏倚变得可管理,还是只是把不可测量挪了个位置、换了个更好听的名字?欢迎拿具体研究来反驳我。







0 Comments