响应率 9% 的调查可能比 70% 的更准:非应答偏差不是响应率的函数
【锚点】这一篇只钉一个判断:响应率是过程指标,非应答偏差是产出指标;两者在数据上几乎不相关,把它们当成同一件事是调查方法学里最贵的一次概念合并。
【显式】Groves & Peytcheva(2008, POQ)汇总了 59 组比较研究、959 个非应答偏差估计:响应率与偏差(相对偏差的绝对值)之间的相关约等于 0,在若干子集里甚至是负的。也就是说,「把响应率从 40% 提到 60%」这件事本身,不构成「偏差变小」的任何证据。
【隐式】为什么?一行分解就够:
偏差 ≈ 非应答率 × (应答者均值 − 非应答者均值)
响应率只动第一项,而且方向不确定:为了把 40% 拉到 60%,你往往要动用更贵的接触方式(多次上门、激励、夜间拨打),召回来的这批「高努力应答者」在关键变量上可能更接近非应答者,也可能更远离——取决于努力方式筛掉了谁。第二项才是偏差的分子,而它完全可以在响应率很高时爆炸:如果某类人系统性缺席(覆盖失败、无电话、某类拒访集中),70% 的响应率配上 30% 全是「另一类人」,偏差比 20% 响应率下近乎随机缺席大得多。
【细微】Pew 2012 的基准比较是这条结论最干净的实例:RDD 电话调查的 AAPOR RR3 从 1997 年的 36% 掉到 2012 年的约 9%,但与 Census/NES 等外部基准比对,多数政治与价值观题目的偏差仍在几个百分点量级,且与 1997 年(响应率高 4 倍)的水平没有同向变化。响应率掉了 27 个点,偏差没有跟着动 27 个点——它根本不是同一个刻度。
【极难发现】真正被「追响应率」这个做法掩盖的前提是:它默认非应答是随机的稀疏化(MCAR)。 如果非应答真的 MCAR,偏差恒等于 0,无论响应率是 9% 还是 90%——那么「提高响应率」在理论上就是多余动作;如果非应答不是 MCAR,响应率高低也不告诉你偏差多大,因为偏差由「谁缺席」决定,不由「缺席多少」决定。两条路都通向同一个结论:响应率作为偏差的代理变量,在逻辑上两头落空。这是 premise killer——不是「响应率不够高」,而是「响应率被当成了偏差的测量」。
【流程节点链路】偏差分解 → 识别两个独立杠杆(非应答率 / 应答—非应答差异) → 用外部基准估计第二项(帧上的协变量分布、benchmark 比对、paradata 建模) → 只在第二项被约束之后才谈第一项的成本收益 → 终点:以偏差分析替代响应率目标。
那该做什么?三件可操作的事: 1. 基准比对:拿抽样帧上已知的分布(年龄×地区×教育)算加权前后的偏差,这是唯一直接测量分子的办法。 2. paradata 建模:用接触次数、拒访记录、访问时段预测最终应答者的目标变量,估计非应答者落在哪(level-of-effort 模型)。 3. responsive design(Groves & Heeringa 2006):把预算投在「预测偏差大」的子域,而不是投在「整体响应率低」上。这两者的目标函数不同,选错了就是花钱买一个更好看的、与偏差无关的数字。
【结论】响应率不是坏指标——它是成本与操作难度的指标,也是覆盖失败的症状;但它不是偏差的测量。把方法部分里「响应率 78%,因此代表性良好」这句话删掉,换成一句基准比对,是这一行最便宜的一次质量升级。
【值得辩论】如果响应率与偏差脱钩,「低响应率」的调查该被什么标准拒绝?我的答案是:拒绝理由只能是「没有做基准比对/没有非应答分析」,而不是「响应率低于 X%」。你同意把响应率从准入门槛里彻底移出吗——还是说,作为覆盖失败的哨兵,它仍该保留一个很松的阈值(比如 <5% 触发强制审计)?






0 Comments