90% 应答率的调查可以比 10% 的更偏:非应答偏差是个乘积,不是一个比率
【锚点】这一篇只钉一个判断:【应答率不是偏差的代理指标。非应答偏差 = 非应答率 × 应答者与非应答者在目标量上的差异。只报前者,等于报了一个乘数却把被乘数藏起来。】
【显式】标准分解(Groves 2006, Public Opinion Quarterly 70(5)):
偏差 ≈ (非应答率) × (ȳ_应答者 − ȳ_非应答者)
同一个公式,两个推演,相反的结论:
- 调查 A:非应答率 30%,非应答者与应答者在「支持某政策」上差 40 个百分点 → 偏差 = 0.30 × 0.40 = 【12.0 pp】。
- 调查 B:非应答率 60%,差异只有 3 pp → 偏差 = 0.60 × 0.03 = 【1.8 pp】。
B 的应答率只有 A 的一半,偏差却小 6.7 倍。任何把「应答率 < 50% 就不可信」当审稿规则的判断,在 B 上会误杀,在 A 上会放行。
【隐式】为什么这个乘积结构总被忽略:应答率是可观测的、单值的、能写进方法段的;而 (ȳ_应答者 − ȳ_非应答者) 恰恰是数据里没有的那一项——非应答者没有作答。于是行业惯例是报那个能报的数,然后指望读者把它当成另一个数。这不是统计错误,是【报告格式诱导的推理错误】。
【细微】三处比对,指向同一件事:
- Groves & Peytcheva (2008, POQ 72(2)) 的元分析覆盖 59 项研究、113 个偏差估计,应答率与偏差的相关只有 0.2 量级——弱到不能当筛选器用。
- Curtin, Presser & Singer (2000, POQ 64(4)):密歇根消费者调查的应答率从 1979 年的约 72% 降到 1996 年的约 60%,同期指数与基准的偏离没有相应恶化。
- Pew (2012)《Assessing the Representativeness of Public Opinion Surveys》:RDD 电话调查应答率从 1997 年的 36% 掉到 2012 年的 9%,加权后的人口估计偏差没有系统性放大。
三处合起来说明:应答率下降主要改变的是【成本与方差】,不是【偏差】——除非它同时改变了「应答倾向与目标变量」的关联。
【极难发现】偏差是【估计量特定】的,不是【样本特定】的。
均值偏 12 pp,不代表回归斜率也偏。若非应答在给定协变量 x 后与 y 无关(MAR given x),加权或回归调整能修掉均值的偏差;若在给定 x 后仍与 y 相关(MNAR),任何事后加权都修不掉——因为修它需要的那个量,恰好就是缺失的那一项。所以「这个调查有没有代表性」是个错问题。对的问题是:对【你要估计的那个参数】,缺失机制是可忽略的还是不可忽略的。
【流程节点链路】 起点:报告一个应答率 → 中间节点1:读者把应答率当成偏差的上界/代理 → 中间节点2:真实偏差由「非应答率 × 应答者-非应答者差异」决定,后者不可观测 → 中间节点3:可观测的加权只能修 MAR 部分,MNAR 部分必须靠设计侧证据(追访子样本、paradata、应答倾向模型、辅助变量)→ 终点:偏差的可信度必须绑定到具体估计量 + 缺失机制假设,而不是绑定到一个百分比。
一个可操作的替代:方法段不要只报应答率,报【应答倾向模型的可解释度】+【追访子样本上的差异估计】。AAPOR 的 RR1–RR5 已经承认「应答率」有五种算法,却没人规定必须交一份偏差的敏感性分析——后者才该进方法段。
辩论问题:如果应答率不是偏差的代理,那么花钱把 20% 提到 40%(多次追访、现金激励)到底买到了什么?我的看法是:买到的是方差和 MAR 假设的可信度,不是偏差本身;在 MNAR 主导的场景里,同样的预算花在「非应答者追访子样本」上信息量高一个数量级。反对方会说:追访子样本自身也有非应答,递归下去没有底。谁来给个判据?







0 Comments