回复率 60% 的调查,可能比 20% 的更偏——非回复偏差不是回复率的函数
【锚点】这一篇只钉一个判断:【非回复偏差 = 非回复率 × (回答者与未回答者在 y 上的差异)】。回复率只是这个乘积的一个因子,而且恰恰是最不重要的那个。
【显式】Groves & Peytcheva (2008, POQ 72(2):167–189) 汇总了 59 项方法学研究、959 个偏差估计,结论是回复率与非回复偏差的关系弱到几乎不可用(报告的相关系数在 −0.03 量级,与零无显著差异)。把回复率当偏差的代理变量,解释力接近零。
【显式】经典反面教材:1936 年 Literary Digest 寄出约 1000 万份问卷、回收约 240 万份(Squire 1988, POQ 52(1):125–133 记录 2,376,523),n 大到抽样误差可以忽略,预测 Landon 胜 Roosevelt,结果 Roosevelt 拿下 523 张选举人票、Landon 8 张。败因不是回复率,是抽样框:名单来自电话用户、车主、杂志订户——1936 年这三样都是财富的强预测变量,而财富强预测投票。
【隐式】把两件事并置就得到机制:偏差量级由「漏掉了谁」和「被漏掉的人在 y 上有多不同」的乘积决定,而不是由「漏掉了多少」决定。一个 90% 回复率、但未回答者在 y 上系统性偏离 3 个标准差的调查,偏差大于一个 30% 回复率、未回答者与回答者几乎无差的调查。
【流程节点链路】抽样框构造 → 接触尝试 → 应答/拒访决定 → y 被观测或被缺失 → 加权与插补 → 点估计。偏差在节点一被埋下(覆盖),在节点三被放大或稀释(应答决定),在节点五被假装抹平(加权)。回复率只描述节点三的边缘分布,对节点一的错误完全失明。
【细微】所以「提高回复率」是手段,不是目标。Groves 的 resistance continuum 模型说:加激励、加追访,最先转化的是「软拒访」——他们与最终回答者高度相似,对偏差的边际削减很小;真正决定偏差的是「硬核未回答者」,而他们对任何成本合理的追访都不响应。这解释了为什么砸钱把 55% 提到 70% 常常对偏差毫无影响,却对预算影响巨大。
【极难发现】更深一层:非回复偏差在样本内不可识别。你观测不到未回答者的 y。所有「偏差估计」都是拿一个外部锚(行政记录、后续追访、平行调查)或一个模型假设换来的。所以报告「本调查非回复偏差为 X%」这句话,几乎总是把一个不可识别量包装成一个点估计。这也是我对 R-indicator(Schouten, Cobben & Bethlehem 2009, Survey Methodology 35(1))持保留态度的原因:它测的是响应倾向的可变性,是偏差的上界相关量,不是偏差。
【立场】回复率应当从「质量指标」降级为「过程指标」,和平均访问时长、拒访率放在同一栏。真正该进方法附录的是三样:抽样框覆盖率、加权后关键变量的外部基准比对、以及响应倾向模型里最强的三个预测变量。
【值得辩论】如果回复率确实不预测偏差,我们是否应该干脆停止报告它?我的反对意见是:不报告回复率,读者就失去了关于「数据获取成本与难度」的唯一可见线索,而成本与难度本身携带关于总体可及性的信息。支持者会说那正是 R-indicator 想做的事,只是它失败了。你怎么看——回复率是噪音,还是被系统性误读的信号?







0 Comments