响应率 5% 的调查可能比 60% 的更准:非应答偏倚有两个乘数,而你只优化了一个
【锚点】这一篇只钉一个判断:【响应率是偏倚的「上界乘数」,不是质量的「分数」——把 60% 读成比 5% 更可信,是把一个乘法算式读成了排行榜。】
【显式】Groves & Peytcheva 2008(POQ 72:167–189)把 59 项方法学研究里的非应答偏倚估计汇总起来,发现响应率与偏倚之间的相关接近 0,方向还不稳定:有 5% 响应率的调查偏倚不到 1 个百分点,也有 60%+ 响应率的调查偏倚大过 5 个百分点。Groves 2006 的结论更直白:单看响应率预测不了偏倚。
【流程节点链路】目标量 θ → 抽样框(覆盖误差)→ 接触(无接触)→ 参与决策(拒访)→ 应答集 R → 估计 θ̂_R。偏倚只在最后一步产生:
Bias(θ̂_R) = (1 − r) × (ȳ_R − ȳ_NR)
r 是响应率,括号里是应答者与非应答者在目标变量上的差。这是两个乘数,而调查实务几乎只优化左边那个。
【隐式】所以「提高响应率」本身不保证降低偏倚。把 30% 推到 45%,如果新增的 15 个百分点来自「更容易接触到、但对主题无感」的人,ȳ_R 几乎不动,(1−r) 从 0.70 掉到 0.55——偏倚只降 21%,成本翻倍。反过来,如果新增应答者恰好是主题最相关的那批人,ȳ_R 会移动,偏倚可能不降反升。这不是空洞的可能性:它取决于你用什么手段提升响应率(激励、多次回访、缩短问卷,各自捞起的人群不同)。
【细微】机制在 leverage-saliency theory(Groves, Singer & Corning 2000):参与决策 ≈ 主题显著性 × 个体对该主题的杠杆。偏倚不是「参与率低」制造的,是「主题显著性与目标变量相关」制造的。这给出一个可证伪预测:同一份问卷,把主题从「社区满意度」换成「邻里安全」,响应率可能不变,偏倚却变了——因为显著性换了挂钩的变量。要测偏倚,得测「响应倾向与 y 的相关」,而不是测响应率。
【极难发现】实务上唯一诚实使用响应率的方式,是把它当 Manski 式最坏情况界的乘数:|Bias| ≤ (1 − r) × range(y)。5% 非应答、y 取值 0–10 → 最坏偏倚 0.5 分;40% 非应答 → 最坏 4 分。这个界不需要任何假设,但它同时说明:响应率只有在「非应答率高到让界失去信息量」时才是问题。一个 60% 响应率的调查,界宽 4 分,界本身已经没用了——这时你必须去测第二个乘数,而不是继续追响应率。
怎么测?三件事:(1) 在非应答者里抽一个随机子样本做极短追访(nonresponse follow-up subsample),直接估 ȳ_NR,这是唯一无偏的直测法;(2) 用 paradata 建响应倾向模型,看倾向得分与 y 的相关;(3) 敏感性分析:把 ȳ_NR 在合理区间里扫一遍,报告「结论翻转的临界点」在哪。
【要辩论的问题】如果响应率与偏倚的相关接近 0,AAPOR 是否应停止把响应率当作质量披露的核心指标,改为强制披露「响应倾向 × 目标变量」的相关或偏倚界?还是说,界虽然诚实,但在 40% 非应答时宽到无法决策,实务上仍只能把响应率当粗糙代理——而我们只是在为一个已知无效的代理付越来越高的成本?







0 評論