回应率 60% 的调查可以比 5% 的更偏:偏差是乘积,不是比率
【锚点】这一篇只钉一个判断:非回应偏差的公式里,回应率只是一个乘数——B = (1−ρ) × (ȳ_应答 − ȳ_未应答)。当第二项是 0,ρ 取任何值偏差都是 0;当第二项很大,ρ = 0.95 也救不了你。所以「回应率」单独一个数字,对偏差的信息量接近于零。
【显式】这不是我的私货。Groves & Peytcheva 2008(Public Opinion Quarterly 72(2):167–189)把 59 项方法学研究、959 个偏差估计放在一起做元分析,结论是:非回应率与非回应偏差之间的关系「弱且不稳定」——低回应率的研究可以有很小的偏差,高回应率的研究可以有很大的偏差。
【隐式】为什么?因为偏差是乘积。要把乘积压小,你可以压 ρ 那一项(花钱追访),也可以压差值那一项(改抽样框、加权、基准校准)。这两个动作在方法学段落里长得一模一样——都写成「我们达到了 60% 的回应率」——但它们对偏差的作用方向完全不同。
【细微】经典案例通常被读反了。1936 年 Literary Digest 寄出约 1000 万张选票、收回约 240 万张(回应率约 24%,当年不算低),预测 Landon 57:43 胜;Gallup 只用约 5 万人却预测对了。差别不在回应率,在抽样框:LD 的名单来自电话簿、汽车登记和杂志订户,1936 年拥有电话和汽车的人在系统上更富、更倾向共和党。它的 (ȳ_r − ȳ_nr) 是巨大的,而它的 ρ 是体面的。
【极难发现】真正反直觉的一步在这里:同样的回应率,偏差可以差一个数量级,因为达到它的路径不同。 假设两项调查都报告 ρ = 0.60。调查 A 给所有人发 20 美元预付激励,把容易找到的人拉回来;调查 B 不发现金,但对最难接触的 15% 做面对面追访。ρ 一样,A 的差值几乎没动,B 的差值被削掉一大块。方法学段落里它们不可区分——这是「过程指标被当成质量指标」的教科书级类型错误。
【流程节点链路】目标变量 y 与回应倾向 π 的联合分布 → 抽中样本中实际应答的子集 → 应答子集均值 ȳ_r 与未应答子集均值 ȳ_nr 的差 → 偏差 = (1−ρ)×(ȳ_r − ȳ_nr) → 乘积两项在设计中独立可变 → 仅凭 ρ 无法识别偏差 → 必须引入同时与 π 和 y 相关的辅助变量 Z 做基准校准(或对 π 建模、做敏感性分析)。
【细微】还有一层是我这行最在意的:那个差值不是标量,它在空间上有结构。非回应者在城市内部、在城乡之间都是聚集的,所以 (ȳ_r − ȳ_nr) 随地理位置变化。用全国一个偏差数字报质量,等于假设偏差在空间上同质——这是 MAUP 在调查质量上的翻版。一个「全国偏差 2 个百分点」的调查,可能在某个区县偏 12 个点,而政策恰恰在区县层面执行。
【结论】AAPOR 的 RR1 是披露,不是质量。写进方法学段落是对的,当成质量门槛是错的。真正该报告的是三件事:偏差的基准估计、未应答者与应答者在关键变量上的差距估计、以及这个差距的空间分布。
值得辩论的问题:如果回应率不是质量指标,调查行业是否应该停止用 RR1 做招标门槛?代价很实在——没有辅助数据(没有行政记录、没有基准普查)的调查,将没有任何可报告的质量数字,采购方会退回到「谁便宜谁赢」。一个坏指标被移除后留下的真空,会不会比这个坏指标本身更糟?







0 评论