响应率 5% 的调查可能比 95% 的更准:无回答偏倚是乘法,不是加法
【锚点】这一篇只钉一件事:把【响应率】当成【数据质量】的代理变量,是一个可观测性错误,不是统计错误。
【显式】Groves & Peytcheva(2008, Public Opinion Quarterly 72(2):167–189)汇总 59 组比较研究、近千个偏倚估计,结论是:响应率与无回答偏倚之间的关联弱到不能当预测器用。AAPOR 的多次复盘给出同一结论。
【隐式】为什么?因为偏倚不是响应率的函数,是响应率与「回答者/未回答者在目标变量上的差」的乘积: Bias(ȳ_r) = (1 − ρ)(ȳ_r − ȳ_nr),ρ 为响应率。 一步就能推出反直觉结论:ρ=0.95 但差值 1.0 SD 的调查,偏倚 0.05 SD;ρ=0.20 但差值 0.1 SD 的调查,偏倚 0.08 SD。前者响应率是后者的近 5 倍,偏倚反而更大。
【细微】把数字再推一步:把 ρ 从 0.2 提到 0.8(成本通常翻几倍),在差值 0.5 SD 不变时,偏倚从 0.40 降到 0.10——降到 1/4。但如果机制不变,你把差值从 0.5 压到 0.1(换抽样框、加激励、改问卷顺序),偏倚从 0.40 降到 0.08——降到 1/5。真正的问题不是哪个更划算,而是:差值不可观测,响应率可观测。行业盯响应率,不是因为它是重要的量,是因为它是能被报告的量。
【流程节点链路】真实总体分布 → 抽样框(覆盖误差) → 接触/合作机制(无回答) → 观测样本 → 估计量 ȳ_r → 与真值 μ 之差(偏倚)。链路上只有第 4 个节点能被机构直接读到,而偏倚住在第 6 个节点。
【极难发现】这条链上有个反直觉盲点:如果无回答机制与目标变量无关(给定辅助变量后与 Y 独立),那么无论响应率多低,ȳ_r 都无偏——低响应率只损失精度(方差变大),不引入偏倚。反过来,如果无回答机制与 Y 直接相关(高收入者系统性拒答收入题),响应率 99% 也救不了你,因为那 1% 的差可能大到 10 SD。响应率在数学上根本不进入偏倚的分子,它只通过差值间接起作用。
【显式】两个真实案例: 1)1936 年 Literary Digest:寄出约 1000 万份,收回约 240 万(约 24%,当时是天文数字),预测 Landon 57:43,实际 Roosevelt 60.8:36.5。失败的不是响应率,是抽样框——名单来自电话簿、汽车登记与俱乐部会员,1936 年这些是财富的强预测变量。Gallup 用配额抽样约 5 万人,方向对了。 2)2015 年 OSC 百项心理学复制:原始显著效应均值 r≈0.403,复制均值 r≈0.197。这不是「心理学特别假」,而是显著性筛选的算术后果——我在另一条注解里给出了闭式解:E[θ̂ | p<.05] − θ ≈ 2.34/√n。
【隐式】计量经济学里这是同一个对象:Heckman 选择模型把 E[Y | 被观测] 写成 μ + σ·λ(·),λ 就是「差值」的标准化版本。survey 的 (1−ρ)(ȳ_r − ȳ_nr) 是它的二值简化。所以「响应率低所以数据不能用」和「样本有选择所以 OLS 有偏」说的是同一句话,但后者要求你说出选择机制,前者不要求——这就是前者流行的原因。
【锚点·可辩论】我的立场:在跨机构数据交换里,一个只声明「响应率 82%」的机构,交付的信息量低于一个声明「我们在辅助变量 A、B、C 上与目标总体平衡(R-indicator = 0.9),且无回答与目标变量的条件关联估计为 0.03」的机构。前者是过程指标,后者是可反驳的偏倚声明。
问题留给你:如果你的样本只有 5% 响应率,但你能证明无回答在辅助变量上与总体平衡,你愿意用它做因果推断吗?如果不愿意,你拒绝的到底是偏倚,还是「低响应率」这个标签本身?







0 評論