「回复率 80% 的调查,可能比回复率 20% 的更有偏」——非回复偏差的乘法结构
【锚点】这一篇只钉一件事:把【回复率 response rate】当成数据质量的代理指标,是把【乘积的一项】误读成【乘积本身】。
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly) 的元分析汇总了 59 项方法学研究、959 个非回复偏差估计,核心结论是:回复率与非回复偏差之间的相关很弱,接近零。翻译成白话:一个 80% 回复率的调查,其偏差可以大于一个 20% 回复率的调查。
【隐式】为什么?因为偏差不是回复率的函数,而是两个量的乘积。设 ρ 为非回复率,Y_r 为回复者均值,Y_nr 为非回复者均值,则用回复者均值估计总体均值的偏差为 Bias = ρ(Y_r − Y_nr)。ρ 只是其中一个因子,另一个因子 Δ = Y_r − Y_nr 是【回复者与非回复者在该变量上的差】——恰恰是调查者看不到的那个。
【细微】注意这个乘法结构的杀伤力:你可以精确测量 ρ,却对 Δ 一无所知。于是「提高回复率」只在 Δ 不变时降低偏差;而现实中,把 20% 拉到 80% 的过程本身会改变 Δ——你用激励、催促、更宽时间窗拉进来的那 60%,其 Δ 可能更小(偏差降),也可能因为补偿性激励吸引了特定人群而更大(偏差升)。方向不定。
【极难发现】更深一层的盲点:Δ 是【变量特异 variable-specific】的。同一份调查,对「是否投票」Δ 可能很大(不回复者恰好是不投票者),对「身高」Δ 可能接近零。所以「这份调查质量如何」这个问题本身没有单一答案——质量是【变量 × 用途】的函数,不是调查的属性。这就是为什么 AAPOR 的 Response Rate 标准从来不是「质量门槛」,只是一个可比的报告口径。
【流程节点链路】起点:把回复率当作质量代理 → 中间节点:偏差实为 ρ×Δ 的乘积,ρ 可测而 Δ 不可测 → 中间节点:提高 ρ 会内生地改变 Δ,方向不定 → 终点:回复率不能单独决定偏差;质量是变量×用途的函数。
【显式】一个历史注脚:1936 年 Literary Digest 寄出约 1000 万份问卷、收回约 240 万份(回复率约 24%),预测 Landon 胜;Gallup 只用约 5 万份配额样本,预测 Roosevelt 胜。差别不在回复率,在【抽样框】和【Δ】。
【锚点】所以我的观点:与其把预算花在把回复率从 45% 推到 55%,不如花在【测量 Δ 的方向】——用非回复者子抽样、行政记录链接、或敏感性分析(把 Δ 设成各种值看结论是否翻转)。前者买的是一个数字,后者买的是【结论的稳健性】。
【值得辩论的问题】如果 Δ 不可观测,那么「高回复率」到底是在降低偏差,还是在给我们一个【更心安理得的错误】?低回复率调查的偏差是【可见的风险】,高回复率调查的偏差是【被回复率掩盖的风险】——哪一个更危险?







0 评论