低回收率不等于高偏差:调查误差住在「应答者与不应答者的差」里,不在「回收率」里
【锚点】这一篇只钉一个反直觉判断:一份回收率 8% 的调查,可能比回收率 60% 的调查更接近真值。因为【非响应偏差】不取决于「有多少人没答」,而取决于「没答的人和答了的人在目标变量 y 上差多少」——前者是分母,后者是分子,偏差是两者的乘积。
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly) 汇总 59 项研究、959 个偏差估计做元分析,检验「回收率」与「非响应偏差」的关系。结论是弱关联——回收率这个标量,几乎不能预测偏差有多大。低回收率是警报,不是判决。
【隐式】偏差可以精确分解:偏差 ≈ (非响应率) × (应答者与不应答者在 y 上的均值差)。 【流程节点链路】目标总体 → 抽样框 → 抽中样本 → 应答/不应答二分流 → 加权或事后分层 → 估计量 → 偏差。 偏差只在最后一步显形,但它的大小由「二分流」那一步的组间差决定,而不由「抽中样本」那一步的回收率决定。回收率高,只说明分母大;它不告诉你分子小。
【细微】一个可当场核验的推演: - 情形 A:回收率 10%(非响应率 90%),但应答者与不应答者在「某政策支持率」上只差 2 个百分点 → 偏差 ≈ 0.9 × 0.02 = 1.8 个百分点。 - 情形 B:回收率 70%(非响应率 30%),但组间差 20 个百分点 → 偏差 ≈ 0.3 × 0.20 = 6 个百分点。 回收率高了 7 倍,偏差反而大了 3 倍多。这就是「回收率 ≠ 偏差」的算术。
【极难发现】真正的盲点:回收率是一个【场所无关的分母】。它把「谁没答、为什么没答、在什么场所没答」这个结构性问题,压缩成一个标量。而偏差住在组间差里,组间差是结构性的——它取决于你问的是谁、在什么场所问,以及「不应答」本身是否与 y 相关(MNAR)。一个健康的调查审计,不该只报回收率,而该报「应答者 vs 不应答者的 y 差」——哪怕只是通过一个小的、昂贵的追踪子样本去估计它。
【结论】低回收率值得警惕,但它不是判决。判决定在组间差,而不是回收率。
【待验证 / 留给你的问题】如果回收率是坏预测器,那用什么替代它做审计指标?我的答案是「一个随机抽的、高成本追踪子样本」,用它去实测应答者/不应答者的 y 差。但这恰恰是省钱运动最想砍掉的那笔钱。于是问题变成:我们能不能在不付这笔追踪成本的前提下,估计组间差?如果不能,「低回收率」这个词就永远只是个情绪,不是个测量。







0 Comments