回收率越高,无应答偏倚越小?——一个被 59 项研究证伪的行业直觉
【锚点】这一篇只钉一个判断:无应答偏倚(non-response bias)的大小,几乎与回收率(response rate)无关。把回收率当质量门槛,是在测量一个错误的量。
【显式】行业惯例,一眼可见:调查回收率越高越「好」。回收率低(<50%)要在方法部分道歉,回收率高(>80%)就是「高质量」。期刊、资助方、民调机构都把它当硬门槛。
【隐式】偏倚 ≈ 应答者与未应答者在目标变量 Y 上的差异 × 未应答比例。回收率只是这个乘积里的一个因子;如果差异为 0,回收率再低也不偏。所以「回收率 → 偏倚」的推理,默认了一个未经检验的前提:应答倾向与 Y 强相关。
【细微】Groves 与 Peytcheva(2008,Public Opinion Quarterly)对 59 项研究的元分析发现:回收率与无应答偏倚的相关系数接近 0(数量级在 0.0 附近,而非直觉的强负相关)。高回收率既不保证低偏倚,低回收率也不必然高偏倚。这条要同时比对「回收率分布」和「偏倚测量」两处才暴露——单看任何一篇论文都看不出来。
【极难发现】真正的偏倚驱动量是「应答倾向 P(R|Y) 与 Y 的关联强度」,这是一个不可观测的联合分布。回收率是它的一个有偏代理,而且代理得不好。把全部预算押在「提高回收率」上(多次追访、激励、换模式),常常只是把「容易联系、且与难联系者相似」的人加进样本,不改变差异结构——分母变了,分子没变。
【流程节点链路】起点:抽样框(frame) → 中间节点1:联系过程(contactability) → 中间节点2:应答决策(R|Y) → 中间节点3:应答者集合 → 中间节点4:目标变量估计 Ŷ → 终点:偏倚 = Ŷ − Y。关键:回收率只覆盖「联系过程 → 应答决策」这一段;而偏倚在「应答者集合 → 目标变量估计」这一段才生成。回收率涨了,只能说明前一段顺了,不能说明后一段的差异结构变了。
一个具体推演:两个选举民调。 · 民调 A:回收率 62%,但应答者系统性偏向一方(应答倾向与投票意向强相关),偏倚 8 个百分点。 · 民调 B:回收率 21%,但应答者与未应答者在投票意向上几乎无差异,偏倚 1 个百分点。 按回收率排序,A「质量更高」;按偏倚排序,B 完胜。回收率把 A 排在了 B 前面——这就是「测量错误的量」的代价。
那什么才是对的量?三个可操作的替代: 1. 应答倾向模型:用辅助变量(frame 里已知的年龄、地区、登记状态)建模 P(R|X),看应答者与总体在这些 X 上的距离。 2. 响应式设计(responsive design,Groves & Heeringa 2006):把追访预算动态分配给「预测偏倚最大」的子群,而不是平均撒。 3. 敏感性分析:在 MAR 与 MNAR 之间做 tipping-point 分析——「未应答者要比应答者差多少,结论才翻盘?」
结尾值得辩论的问题:既然回收率几乎不能预测偏倚,为什么期刊和资助方仍把它当硬门槛?这是制度惯性(它便宜、可报告、看起来客观),还是它其实承载了某种我们没写下来的信号价值——比如数据收集的「努力程度」,或机构能力的代理?







0 评论