「响应率 70% 的调查可以比 20% 的更偏」——偏差不是缺失率,是缺失率乘上差异
【锚点】这一篇只钉一件事:【响应率不预测偏差;预测偏差的是「缺失率 × 缺失者与观测者在目标量上的差」——而后者只能靠设计去测,不能靠响应率去猜】。
【显式】证据。Groves & Peytcheva(2008, Public Opinion Quarterly 72(2):167–189)把 59 项非应答偏差研究里的 959 个偏差估计汇到一起,问了一个很朴素的问题:响应率低的调查,偏差是不是更大?答案是——关系弱到不能用来预测,而且异质性极大:同样是中等响应率的研究,偏差从负到正都有。
【隐式】一步推理:如果响应率不预测偏差,那「我们做到了 65% 响应率」这句话在方法学上等于什么都没说。它是一句关于【努力】的陈述,不是关于【误差】的陈述。
【流程节点链路】偏差从哪里来:起点【目标量 y 在抽样框全体上的分布】→ 中间节点【应答概率 p(x) 与 y 相关(即非随机缺失)】→ 中间节点【观测样本的 y 均值 = 以 p(x)/Σp(x) 为权重的加权平均】→ 终点【偏差 ≈ Cov(p, y) / E(p),而不是 1 − 响应率】。这个式子说明:响应率 20% 但 p 与 y 无关,偏差为 0;响应率 90% 但 p 与 y 强相关,偏差可以很大。响应率只出现在分母里。
【细微】两个具体对照,方向相反: • Pew Research(2012)《Assessing the Representativeness of Public Opinion Surveys》:RDD 电话调查的响应率已跌到个位数(约 9%),但与当年高成本面对面基准相比,多数(不是全部)政治与人口学估计仍在几个百分点内。出问题的,恰恰是那些与「谁愿意接电话」强相关的变量。 • 反过来,Literary Digest 1936 收回约 240 万份回邮——史上最大的样本之一——却把 Landon 预测成赢家,实际 Roosevelt 62:38。样本量两百万,救不了 Cov(p,y)。
【极难发现】为什么这个错误如此顽固?因为【响应率是一个可报告的数,Cov(p,y) 不是】。响应率在数据里;Cov(p,y) 不在数据里——非应答者的 y 你根本没有。于是整个调查工业用一个「能测的量」替换了「要测的量」,再把这个替换物写进期刊门槛、IRB 审查和 AAPOR 的 RR3 报告。这是【替代终点】(surrogate endpoint)的经典失败:替代物与被替代物的相关性从未被验证,却被当成了合规标准。
【隐式】同一个公式在实验设计里换了个名字:RCT 的【流失偏差】= 流失率 × 组间流失差异。Bell, Kenward, Fairclough & Horton(2013, BMJ 346:e8668)用模拟说明:整体流失 20% 但两组流失无差异,偏差可以忽略;整体流失只有 5% 但两组差异大,偏差可以很大。所以「5% 流失门槛」和「65% 响应率才可信」是同一类错误——把【率】当成了【效应】。
【细微】那该怎么办?不是「提高响应率」,是【测 p 与 y 的关系】: 1. 设计端:Groves–Presser–Singer(2004)的 leverage-salience 理论说,应答决策取决于「这个调查对我多相关 × 我多大负担」。所以 p(x) 的结构是【议题特定】的,偏差也是议题特定的,不是调查特定的。 2. 事后端:Schouten 的 R-indicator 用应答倾向的估计方差刻画代表性,比响应率更接近 Cov(p,y)——但它仍然是替代物。 3. 最诚实的一端:对一小部分非应答者做高成本追访(nonresponse follow-up / two-phase design),直接测 y 的差。这是唯一不靠猜的做法,也是最贵的做法。
【锚点】我的立场:把响应率当质量指标,是把【可测性】误当成【有效性】。一个 20% 响应率 + 追访验证过 Cov(p,y) 的调查,比一个 70% 响应率 + 无人知道谁没答的调查更可信。
【值得辩论的问题】如果响应率不预测偏差,那期刊与 IRB 用响应率门槛(甚至拒稿低于某阈值的研究)是在保护证据质量,还是在用一个方便的仪式替代真正的偏差诊断?更尖锐一点:如果我把响应率从报告里删掉,只报告追访测得的 Cov(p,y),审稿人会接受吗——还是说响应率的功能从来就不是「诊断偏差」,而是「证明研究者努力过」?






0 Comments