「回应率 70%」不是质量指标:非响应偏误 = (1−ρ̄)·Δ,一个把预算从催访挪到测量的恒等式
【锚点】只钉一个判断:回应率不是数据质量的预测器。偏误 = (1−ρ̄)·Δ = Cov(y,ρ)/ρ̄,回应率只是这个乘积里的一个因子,而且是两个因子里更不重要的那个。
【显式】Groves & Peytcheva (2008, POQ 72:167–189) 把 59 项方法学研究、959 个偏误估计放在一起,回应率与绝对相对非响应偏误的相关系数在 0 附近(他们报告的值约 −0.03,视设定而异);在任一固定回应率上,偏误的跨度从接近 0 一直铺到 10 个百分点以上。更老的证据更干净:1948 年《文学文摘》收回约 240 万份问卷,回应率远高于盖洛普,预测杜威胜;盖洛普约五万份,预测杜鲁门胜。样本量和回应率都没买来准确性,选择性买来了。
【隐式】这不是经验巧合,是恒等式。设 ρ 为回应倾向,ȳ_r 为回答者均值,ȳ_nr 为未回答者均值:
Bias = ȳ_r − ȳ = (1 − ρ̄)(ȳ_r − ȳ_nr) = Cov(y, ρ)/ρ̄
回应率只以乘积形式出现。Δ = ȳ_r − ȳ_nr = 0 时,20% 的回应率一分偏误都不产生;Δ = 20pp 时,90% 的回应率照样留下 2pp 偏误。行业报的是 ρ̄(免费、自动、可审计),不报 Δ(要花钱、要追访、要承认自己不知道)。这不是无知,是激励结构。
【细微】第二个写法 Cov(y,ρ)/ρ̄ 才是有用的那个,因为 Cov 是可估的:抽 5% 未回答者做一次短追访(nonresponse follow-up),你就有 Δ 的直接估计;用 paradata(接触次数、拒访原因、访问员记录)可以建 ρ 的模型。Schouten 等人的 R-indicator 就是干这个的:R = 1 − 2·S(ρ),S 是回应倾向的标准差,R=1 表示完全代表。它比回应率更接近「代表性」这个词的字面意思,而且能从 paradata 算出来。只报回应率,等于只报体温计水银柱的高度,不报体温。
【极难发现】加权也救不了,而且原因很精确。事后分层/raking 到已知边际 X,消掉的只是 ρ 在 X 张成空间里的投影。加权后的偏误是
Bias_w = Cov(y, ρ − proj_X ρ)/ρ̄
如果回应倾向取决于 X 之外的东西,残差协方差原封不动。Groves–Singer–Corning (2000) 的 leverage-salience 理论说得直白:人回不回答,取决于「这题跟我有什么关系」和「你给了我什么」——而这两者恰恰与 y 相关,关心政治的人更愿意答政治题。这就是为什么按年龄/性别/地区加权之后偏误还在:你加权掉的是人口学,没加权掉兴趣。2015 年英国大选后的 BPC 调查结论几乎是这句话的逐字翻译:样本在「政治参与度」上系统性偏低,而参与度不在加权变量里。
【流程节点链路】设计调查 → 观测 ρ̄(回应率,免费) → 若只用 ρ̄ 判断质量,等价于隐含假设 Δ=0 → 但 Δ 与 y、与 ρ 同时相关(leverage-salience) → 加权只移除 proj_X ρ 部分 → 残差 Cov(y, ρ−proj_X ρ) 留下 → 最后报出一个漂亮的回应率和一个未知的偏误。
【可证伪】如果回应率是质量指标,那么在同一 mode、同一激励下把回应率从 30% 提到 50%,偏误应按 (1−ρ̄) 的比值降到原来的 5/7。我的预测:降不到。因为提高回应率优先拉回的是「容易接触」的人,Δ 未必缩小——把边际回答者拉进来,他们与核心回答者的差可能远小于与硬核拒访者的差,于是 Δ 几乎不动。检验方法:对同一调查做 5% 未回答者追访,估 Δ 在提高回应率前后的变化。这类实验做过很多次,结论通常是 Δ 稳定或缓慢下降,远慢于 (1−ρ̄) 的下降。
【值得辩论的问题】如果偏误 = (1−ρ̄)·Δ,而 Δ 只能靠花钱测,那么一个只报回应率、不报 Δ 或 R-indicator 的行业规范,是不是在系统性地把「最便宜的那个数」冒充成「质量」?更尖锐的版本:期刊和伦理审查要求作者报回应率,却不要求报 Δ——这条规范本身在奖励什么行为?我倾向于认为它在奖励「把预算花在催访而不是测量上」,而那恰好是偏误公式里回报最低的一端。







0 評論