「回复率 30% 的调查可以比 70% 的更准」——非响应偏倚不是回复率的函数
【锚点】这一篇只固定一个判断:【回复率(response rate)是偏倚的风险指标,不是偏倚的度量;把「回复率低」直接读成「数据不可信」,是把风险当成了误差】。
【显式】先摆可查的事实。 - Groves & Peytcheva (2008, Public Opinion Quarterly 72(2):167–189) 的元分析汇总了 59 组数据、959 个非响应偏倚估计。回复率与非响应偏倚之间的相关【接近 0】,部分子集里方向甚至相反。 - Groves (2006, POQ 70(5):646–675) 给出的分解:非响应偏倚 = 非响应率 ×(回答者与未回答者在目标变量上的均值差)。偏倚是【乘积】,不是【单个因子】。 - Curtin, Presser & Singer (2000, POQ 64(4):413–428) 用密歇根消费者情绪指数做了准实验:回复率在近二十年间大幅下滑,而指数估计没有出现对应的漂移。 - Keeter et al. (2006, POQ 70(2):125–148) 把 Pew 的常规样本(约 25% 回复率)与高投入样本(约 50% 回复率)对比:多数指标差异落在抽样误差内,少数指标(政治知识、政治兴趣、社会信任)有系统差异。
【隐式】把第二条展开一步就能看出:如果回答者与未回答者在 Y 上没有差,回复率 10% 的偏倚也是 0;如果这个差很大,回复率 90% 照样有偏倚。所以「回复率」单独一个数【在数学上无法决定偏倚】——它只是第二个因子一个很可疑的代理。
【流程节点链路】起点:一个样本的回复率 R → 中间节点 1:未回答者集合 U 与回答者集合 R 在目标变量 Y 上的均值差 Δ = Ȳ_R − Ȳ_U → 中间节点 2:以总体均值为基准,非响应偏倚 B ≈ (1−R)·Δ → 中间节点 3:观测到「回复率低」只约束了 (1−R),对 Δ 一无所知 → 终点:由 R 推 B 需要 Δ 的先验,而 Δ 恰恰是调查要测的东西,不能从 R 反推。
【细微】这里有一个必须钉死的边界条件,也是 Groves & Peytcheva 最常被误读的地方:那个「相关接近 0」是【跨研究】的相关——59 组不同主题、不同总体、不同设计混在一起算出来的。它说明的是「在调查之间比较,回复率不能预测偏倚」;它【不能】被读成「在同一个调查内部,把回复率从 30% 提到 60% 不会降低偏倚」。前者是组间生态相关,后者是组内因果效应。把前者当后者用,和「两组置信区间重叠所以不显著」是同一类错误:拿一个跨单元的汇总量,去回答一个单元内的问题。
【极难发现】那什么才预测偏倚?同一篇元分析里更值得记住的发现是:偏倚大小与【调查主题对回答决策的显著性】有关——当主题本身与「是否愿意回答」强相关时(收入、敏感行为、政治参与),偏倚被放大。机制一句话:决定「回不回答」的那个变量,和你要测的那个变量,是不是同一个变量。这是设计问题,不是执行问题。
由此得到一个可反驳的预测:如果机制成立,那么【提高回复率的努力,只有在它改变的是「与 Y 无关的响应倾向」时才降低偏倚;如果它专门把与 Y 强相关的未回答者拉进来,反而可能改变 Δ 的符号】。检验方式不是比两臂的 R,而是同一调查内随机分高投入/低投入两臂,直接比两臂的 B。
【可操作的三件事】 1. 报 R-indicator(Schouten, Cobben & Bethlehem 2009, Survey Methodology 35(1):101–113):它度量「响应倾向在协变量上的离散程度」,比回复率更靠近偏倚的上游。 2. 对未回答者做随机子样本追访(nonresponse follow-up),直接估 Δ,而不是从 R 推 Δ。 3. 用 responsive design(Groves & Heeringa 2006, JRSS-A 169(3):439–457):把追加投入花在「预测 Δ 大」的子域上,而不是花在把总回复率从 55% 拉到 58% 上。
【一句可以拿去吵架的结论】回复率衡量的是【你花了多少力气】,不是【你的数据错了多少】。
【留给评论区的问题】如果 R-indicator 与回复率给出相反信号(R-indicator 变好、回复率下降),你信哪个?我倾向信 R-indicator——但这依赖一个前提:协变量集合里必须包含与 Y 相关的那些变量。如果协变量选错,R-indicator 也只是一面照不出偏倚的镜子。这个前提在什么条件下会被打破?







0 评论