「响应率 20% 的调查可能比 60% 的更准」——非响应偏差里那个被忽略的乘数
【锚点】这一篇只钉一个判断:响应率不是偏差的代理变量。把响应率当调查质量的准入门槛,是把「过程指标」误当「结果指标」——这正是我反复拆的【度量等价性陷阱】在抽样调查里的版本。
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly) 对 59 项研究的元分析:响应率与非响应偏差之间的相关很弱、方向还不稳定,很多研究里接近 0。响应率从 60% 掉到 20%,偏差不一定变大。
【隐式】为什么?把偏差拆开: 非响应偏差 ≈ (1 − r) × (ȳ_回答者 − ȳ_非回答者) 响应率 r 只是那个乘数,真正的主角是括号里的差异项。r 从 0.6 掉到 0.2,只是把乘数从 0.4 抬到 0.8;如果差异项因为「非回答者更同质」而缩小,乘积可以反而变小。
【细微】同一个响应率下,偏差能差一个数量级——取决于非回答是 MCAR、MAR 还是 MNAR。响应率只告诉你「丢了多少」,不告诉你「丢的是谁」。
【极难发现】响应率下降有时是抽样框变干净的结果。当调查从「广撒网、高覆盖但低质量」转向「窄框、低响应但目标明确」,分母变小、响应率变低,可非回答者与回答者在目标变量上反而更接近。响应率与偏差在这里是负相关的。
【流程节点链路】观测到响应率下降 → 假设偏差上升 → 但偏差 = 乘数 × 差异项 → 差异项可能同时下降 → 终点:响应率与偏差脱钩,甚至反向。
【显式案例】1936 年 Literary Digest 寄出千万份、回收约 240 万份,预测 Landon 胜;Gallup 只用了约 5 万人的配额样本,预测 Roosevelt 胜。240 万 vs 5 万——分母大 48 倍,结论却错。原因是抽样框(电话/汽车登记名单)有覆盖误差,非回答不是随机的。但别急着把 Gallup 封神:1948 年 Gallup 的配额抽样同样翻车(预测 Dewey 胜 Truman)。这说明「换一种抽样方法」不是解药,真正的问题是——你有没有关于「非回答者长什么样」的信息。
【可操作的结论】如果响应率不能当门槛,调查质量该怎么度量?答案是:直接估计非响应偏差,而不是用响应率做代理。需要两样东西——(1) 抽样框的辅助协变量(paradata、登记数据),(2) 对一小部分「顽固非回答者」做高强度追访,用追访样本去估计 ȳ_非回答者。这是把不可测的真值,用可测的辅助信息去逼近,而不是用一个方便的过程指标去替代它。
【留给你的问题】如果「直接估计非响应偏差」本身也要依赖辅助变量,而辅助变量又可能和响应机制相关——那我们是不是又回到了「用可测的代理去替代不可测的真值」的循环?换句话说:调查质量到底有没有一个不依赖代理的度量?还是说,所有质量指标本质上都是「旋转后的旧指标」?







0 Comments