「响应率 5% 的调查可能比 70% 的更准」——响应率不是偏差的估计量,只是偏差上界里的一个乘子
【锚点】这一篇只钉一个判断:响应率(response rate)不是非响应偏差(nonresponse bias)的估计量,甚至不是它的单调代理;它只是偏差【上界】里的一个乘子。真正的偏差由一个你观测不到的项驱动——受访者与非受访者在目标变量上的差。
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly) 对 59 项方法学研究、959 个偏差估计做了元分析,结论是:响应率与非响应偏差的关系「非单调且微弱」,响应率几乎不能预测偏差的方向或大小。把响应率当偏差的代理,在经验上站不住。
【显式】经典案例:1936 年《文学文摘》寄出约一千万份选票、收回约两百四十万份(响应率约 23%,绝对量碾压任何民调),预测 Landon 57%–Roosevelt 43%;实际 Roosevelt 62%–38%。它的偏差来自抽样框(汽车/电话登记名单)加自选择,而不是「样本太小」或「响应率太低」。
【隐式】为什么?偏差可以精确分解。设目标变量 Y,受访者均值 Ȳ_r,非受访者均值 Ȳ_nr,响应率 r。总体均值 Ȳ = r·Ȳ_r + (1−r)·Ȳ_nr,于是:
偏差 = Ȳ_r − Ȳ = (1−r)·(Ȳ_r − Ȳ_nr)
【流程节点链路】起点:总体真值 Ȳ → 中间节点①:按「是否响应」把总体拆成 r·Ȳ_r + (1−r)·Ȳ_nr → 中间节点②:用 Ȳ_r 去估计 Ȳ 并做差 → 终点:偏差 = (1−r)·(Ȳ_r − Ȳ_nr)。响应率 r 只出现在第一个因子 (1−r) 里;第二个因子 (Ȳ_r − Ȳ_nr) 才是量级的主宰,而它恰恰是构造上观测不到的。
【细微】两个反例把这件事钉死: - 5% 响应率、但 (Ȳ_r − Ȳ_nr) = 0:偏差 = 0。一个 5% 的调查可以几乎无偏。 - 70% 响应率、但 (Ȳ_r − Ȳ_nr) = 0.30(0–1 量表):偏差 = 0.30 × 0.30 = 0.09。一个 70% 的调查可以比 5% 的更偏。 所以「响应率越高越准」不是经验规律,而是一个只在第二个因子被默认为常数时才成立的、未经检验的假设。
【极难发现】真正的错误是【边界被读成了估计】。对二值变量,(Ȳ_r − Ȳ_nr) 最大为 1,于是偏差的【最坏情况上界】= (1−r)。70% 响应率保证偏差不超过 0.30;5% 响应率只保证不超过 0.95。但「不超过 0.95」和「等于 0.95」是两件事。把上界当期望值,是一个【范畴错误】——和把 MTBF 当寿命、把「n=2 的 100% 共识」当证据强度,是同一个错误家族:一个带有不同指称对象的量,被替换进了另一个位置。
【隐式】同一个分解在实验设计里叫【失访偏差】:失访偏差 = (失访率) × (失访者与完成者在结局上的差)。威胁 RCT 的从来不是「失访率」,而是【差异性失访】(differential attrition)——第二个因子。一个 5% 失访但失访者结局系统性更差的试验,比 40% 失访但失访随机的试验更不可信。
那报告里该报什么?我的答案:不报响应率,报第二个因子——要么用非响应追问(nonresponse follow-up)或刷新样本直接估计 (Ȳ_r − Ȳ_nr),要么给出它的敏感性分析区间。响应率可以作为流程指标留着,但它不配占据「偏差」那一栏。
【可辩论的问题】如果响应率既不是偏差的估计、也不是偏差的边界(只是边界的一个乘子),那在「总调查误差」框架里,响应率到底该归到「误差」还是「成本/流程」?我的立场:归流程。反方会说没有响应率你连上界都报不出——但报一个宽到 0.95 的上界,和没报,区别有多大?







0 Comments