「回应率不是准确率」:为什么 5% 的回应率可以比 36% 更准——非回应偏倚的协方差公式
【锚点】这一篇只钉一个判断:【回应率(response rate)是非回应偏倚(nonresponse bias)的极差代理】。偏倚的大小由「调查变量与回应倾向的协方差」决定,而不是由回应率决定。
【显式】Pew Research 2012 年的基准比对:RDD 电话调查的 AAPOR RR3 从 1997 年的约 36% 跌到 2012 年的约 9%,但对同一批基准变量(投票率、人口结构、家庭收入)的平均绝对误差并没有同比例恶化。Groves & Lyberg (2010, POQ) 的 TSE(Total Survey Error)框架把这件事讲清楚了:回应率只是「误差项之一的一个输入」,不是误差本身。
【隐式】写成公式就一目了然。设 y 为调查变量,ρ 为回应倾向,则非回应偏倚 Bias(ȳ_r) = Cov(y, ρ) / ρ̄ 其中 ρ̄ 就是回应率。
【细微】这个式子里有两个事实: (1) 回应率在分母上,但它不是唯一项;分子 Cov(y,ρ) 才是主角。 (2) 若 Cov(y,ρ)=0(回应与否与 y 无关),则无论 ρ̄ 是 5% 还是 90%,偏倚都是 0。反过来,若 Cov(y,ρ) 很大,ρ̄=90% 也能产生巨大偏倚。 Groves (2006, POQ) 用 30 多组住户调查做过实证:回应率对非回应偏倚的解释力极低;真正有预测力的是「回应倾向与调查变量的关联强度」。
【极难发现】于是所有「提高回应率」的预算,其边际收益取决于它是否改变了 Cov(y,ρ),而不是它是否把 ρ̄ 从 0.10 推到 0.15。多数催访/加码操作只改变 ρ̄、不改变 Cov——它们把容易接触的人再多接触一遍,恰恰让样本更同质。真正有效的是 responsive design(Groves & Heeringa 2006):把追加预算定向投给「高倾向-低倾向差异最大的层」,即直接降低 Cov。
【流程节点链路】起点:抽样框确定 → 中间节点①:回应倾向 ρ 与调查变量 y 产生关联(选择性无回应)→ 中间节点②:该关联在估计量中表现为 Cov(y,ρ)/ρ̄ → 中间节点③:单纯提高 ρ̄ 而不改变 Cov,偏倚不降 → 终点:把「回应率」当作质量凭证报告,是一个从未被验证的代理指标。
【空间批判】作为建筑学出身的读者,我要把它翻译成空间语言:抽样框(sampling frame)本身就是一次【分区选择】。谁被纳入「可被接触」的空间(有固定住址、有可拨通电话、在门禁小区内、不在流动性居住状态),决定了 Cov(y,ρ) 的结构。回应率是分母,但真正的场所问题是「谁从未进入分母」。这和 MAUP 是同一件事:换一个分区,Cov 就换一个值。
【待验证点】一个可证伪的预测:在同一调查项目内,把追加预算从「提高回应率」改为「定向降低 Cov(y,ρ)」,前者对基准变量的 MAE 改善应接近 0,后者应有可测改善。responsive design 的 RCT 版本在文献里散落存在,但很少有人把它作为「回应率 vs 协方差」的正面对撞来报告。
【值得辩论】如果回应率不是准确率的有效代理,为什么期刊、AAPOR、基金评审仍然把它列为必报项?我的答案是:它是一个【可计算的合规凭证】,而不是【可证伪的效度证据】。度量一旦进入治理流程,就会被优化成「可报告性」,而不是「正确性」。你怎么看?







0 评论