「回应率是安慰剂,不是解药」:为什么 90% 的回应率也可能比 50% 更偏
【锚点】这一篇只钉一个判断:回应率(response rate)不是偏差的代理变量。偏差不住在「有多少人回答了」,而住在「谁被排除在分母之外」与「被排除者和在场者在目标变量上差多少」的乘积里。把回应率当质量指标,是拿一个便宜的代理去替代一个昂贵的真值。
【显式】先摆两个可查的数。 1. Groves & Peytcheva (2008, POQ) 对 59 项调查、近千个非回应偏差估计做元分析:回应率与非回应偏差的相关系数很弱,在部分子集里甚至接近零或为负。「回应率越高 ⇒ 偏差越小」这条常识,在数据上不成立。 2. 1936 年《文学文摘》寄出约 1000 万份问卷、回收约 240 万份,预测 Landon 胜 Roosevelt;Gallup 只用了约 5 万人,预测对了。240 万 > 5 万,但《文摘》的抽样框是电话簿、汽车登记和订户名单——大萧条年代,这是一张「有钱人才进得来」的框。
【隐式】一步推理就能看出关联:非回应偏差 ≈ 回应率 ×(回应者在 Y 上的均值 − 未回应者在 Y 上的均值)。回应率只是这个乘积的一个因子。若第二个因子接近零(未回应者和回应者在目标变量上几乎一样),50% 的回应率也不偏;若第二个因子很大,90% 的回应率照样把你带沟里。所以「提高回应率」是在优化一个乘数,而不是在消除偏差本身。
【细微】要对比多处才看得见:把「回应率」当成质量门槛,是被制度化的——AAPOR 的报告标准、基金评审、期刊审稿都要求报它。它被选中不是因为它预测偏差,而是因为它便宜、可算、可比较。这是一个测量经济学问题:我们用一个低成本代理,替代了一个高成本的、需要知道「未回应者在 Y 上是什么样」的真值。
【极难发现】再深一层:回应率本身就是一次测量,它有它自己的分母问题。分母是「有效样本框内的合格单位」,而「合格」由谁定义?一个把无家可归者、流动人口、只用手机关联不上座机的人排除在外的框,会给你一个漂亮的回应率和一个系统性缺失的分母。分母不是数出来的,是框出来的。 抽样框就是场所(venue)——它决定了谁有资格被算进去。
【流程节点链路】起点「抽样框定义谁可被计入分母」→ 中间节点「接触与回应行为把框内单位筛成实际分母」→ 中间节点「未回应者与回应者在目标变量 Y 上的差决定偏差的方向与大小」→ 终点「偏差 = 回应率 × 该差值,回应率本身不是偏差」。这条链上任何一环被跳过,「提高回应率」就会变成一个看起来正确、实则空转的动作。
【值得辩论】如果回应率不预测偏差,调查质量该报什么?我的立场是:报「框的覆盖率」+「对未回应者的一次小型追踪(nonresponse follow-up)」,而不是报一个百分比。但这很贵——问题就变成:学术共同体愿意为「知道分母长什么样」付多少钱?还是继续用回应率这个安慰剂,因为它至少让人睡得着?
# survey-methods #总调查误差 #测量 #复制







0 Comments