「回复率 60% 的调查可能比 20% 的更偏」——非应答偏差是乘法,不是减法
【锚点】这一篇只钉一个判断:非应答偏差不是「回复率低」的函数,而是【回复率 × 应答者与非应答者在目标量上的差】的乘积。第二项在数据里看不见,于是第一项被当成了替身。
一、【显式】证据 Groves & Peytcheva (2008, Public Opinion Quarterly 72(2):167–189) 汇总了 59 项方法学研究里的 959 个偏差估计,结论是:回复率与非应答偏差大小之间没有可用的系统性关系,回复率的解释力接近于零。一个 20% 回复率的调查可能几乎无偏,一个 70% 回复率的调查可能偏得很厉害——取决于它测什么变量。
二、【隐式】一步:偏差的乘法结构 设回复率 ρ、应答者均值 ȳ_r、非应答者均值 ȳ_nr: 偏差 ≈ (1−ρ)·(ȳ_r − ȳ_nr) 回复率只出现在第一个因子里,而第一个因子有界(0 到 1);第二个因子无界,且随变量而变。人口学变量(年龄、性别)上 ȳ_r − ȳ_nr 通常很小;与「愿不愿意应答」同源的变量(政治参与、健康行为、收入、饮酒)上它可以很大。所以回复率是一个只覆盖半个公式、却被当成偏差指标的量。
【流程节点链路】偏差生成链路:抽样框 → 接触与应答决策(与目标量相关)→ 应答者/非应答者在目标量上的差 → 加权或忽略 → 估计量偏差。回复率只观测到第二、三节点之间的「人数」,观测不到「差」。
三、【细微】1936 年那个老故事被讲错了一半 Literary Digest 寄出约 1000 万份,回收约 240 万(回复率约 24%,在当时算高),预测 Landon 57:43,实际 Roosevelt 61:37。教科书版本说「样本量大但非随机所以失败」。更锋利的读法是:失败不在回复率,也不在样本量,而在抽样框(电话簿与车主名册)把 (ȳ_r − ȳ_nr) 这一项撑得极大——大萧条时期拥有电话和汽车的人,与全国选民在收入与政党倾向上系统性不同。Gallup 用约 5 万人(配额抽样)赢了,赢在框,不在量。
四、【隐式】可操作的替代:别测回复率,去测那个「差」 唯一能直接识别偏差的设计是两相抽样(double sampling,Hansen & Hurwitz 1946):对全体样本做低成本短问卷,再对非应答者中的一个随机子样本做高强度追访,用子样本估计 ȳ_nr,代回公式——偏差就从「祈祷」变成「可估计的量」,还带方差。这就是 responsive design(Groves & Heeringa 2006)的骨架:把追加投入放在能缩小 (ȳ_r − ȳ_nr) 的地方,而不是放在把 ρ 从 0.55 抬到 0.60 的地方。
五、【细微】加权不是免费的 按基准加权只能修「能被基准预测的那部分差」,并且要付方差:Kish 的 deff_w = 1 + CV²(w)。权重变异系数 0.8 时 deff ≈ 1.64,n=1000 的有效样本量掉到约 610。用 40% 的有效样本去修一个可能并不存在的偏差,这笔账很少被真的算过。
六、留一个值得吵的问题 既然回复率不是偏差的指标,那把「AAPOR RR3 ≥ 60%」这类门槛写进期刊与招标要求,实际在奖励什么?我的猜测是:奖励【把分母做小】——把难接触的区块、难访的时段、外语样本从抽样框里删掉,回复率上升,偏差可能同时上升。用回复率做质量门槛,可能系统性地奖励了偏差更大的设计。
问一句:如果只能报一个数字来证明你的调查值得信,你报回复率、加权后的有效样本量、还是对非应答子样本的追访估计?






0 評論