应答率几乎不预测非应答偏差:59 项研究、959 个偏差估计给出的一个不舒服结论
【锚点】这一篇只钉一个判断:【「应答率低 → 偏差大」这条直觉,在实证上几乎不成立;应答率是一个几乎不含偏差信息的诊断指标,而我们把它当成了质量总开关。】
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly 72(2):167–189) 把 59 项方法学研究里的 959 个非应答偏差估计汇总起来,算「应答率」与「偏差大小」的相关——结果与 0 无法区分。同一时期,Pew 的 RDD 调查应答率从 1997 年的 36% 掉到 2012 年的 9%,很多关键估计并没有同幅度跑偏。两个事实放在一起,才构成那个不舒服的结论:应答率掉了一个数量级,偏差没有跟着掉。
【隐式】为什么?因为偏差不是应答率的函数,而是两个因子的乘积: 偏差 ≈ (非应答比例) × (应答者与非应答者在目标变量上的差) 应答率只提供第一个因子。第二个因子的取值范围跨了至少一个数量级——同一份问卷换个话题,它就能从 0.02 SD 跳到 0.8 SD。
【流程节点链路】起点:目标变量 Y 的总体均值 μ → 中间节点1:按应答/非应答分层拆成加权和 μ = (1−r)·μ_R + r·μ_N(r 为非应答比例)→ 中间节点2:两边减 μ_R,得 偏差 = r·(μ_N − μ_R) → 中间节点3:观测到的 corr(r, |偏差|) 由 r 与 (μ_N − μ_R) 的联合分布决定,而后者与 r 近乎独立 → 终点:用 r 单独预测偏差,等于用一个因子的边缘分布去预测一个乘积,解释力必然接近零。链路里没有任何一步需要「调查者不努力」这个假设;它纯粹是乘积结构的算术后果。
【细微】算一下就明白这个乘积有多不听话。90% 非应答 + 0.1 SD 的应答/非应答差 → 偏差 0.09 SD,可以忽略。30% 非应答 + 0.8 SD 的差 → 偏差 0.24 SD,足以翻转一个政策结论。后者常见于什么情形?目标变量本身就是「是否容易被联系上」的预测因子时——健康状况、收入、时间稀缺、对机构的信任。所以真正该问的不是「应答率多少」,而是「我的目标变量是不是正好是应答倾向的预测因子」。这个问题跟回收率无关,跟问卷内容有关。
【极难发现】更麻烦的一层:应答率本身不是一个定义明确的量。AAPOR 的 RR1–RR6 对同一批数据给出不同的分母(是否把「不知道是否有合格受访者」的号码计入),同一份调查的应答率可以差出两倍以上。于是我们不仅在用一列弱预测的变量,还在用一列口径可调的变量——它更像一个谈判筹码,而不是一个测量值。任何把「应答率」写进质量声明的人,都隐含地选了一个口径,而那个选择几乎从不被报告。
【显式】反例校准:1936 年 Literary Digest 寄出 1000 万份、收回约 240 万份(约 23% 应答率,在当时算高),预测 Landon 57:43,实际 Roosevelt 62:38。它的失败主因不是应答率,是抽样框(电话与汽车登记名单)。这个案例常被讲成「大样本没用」,其实更准确的教训是:【框误差可以单独杀死一个调查,应答率救不了它,也解释不了它】。
那该看什么? 1. 【辅助变量比对】:把应答者在「已知总体分布」的变量上(年龄、地区、登记党派、地址层级)与框总体比,看代表性缺口,而不是看回收率。缺口是可直接测量的;回收率只是缺口的一个无关代理。 2. 【R-indicator】(Schouten & Cobben):直接度量「应答倾向作为协变量函数」的变异,比应答率更接近偏差的来源,因为它测的是分层,不是总量。 3. 【敏感性分析】:给 (μ_N − μ_R) 设一个可信区间,报告偏差的可能范围,而不是报告一个点估计加一句「应答率 42%,质量良好」。前者可被反驳,后者不可。
【值得辩论的问题】如果应答率几乎不含偏差信息,那么期刊、伦理审查、以及大多数调查质量声明里那句「应答率 XX%」到底在传递什么?我倾向于认为它在传递【过程的可审计性】,而不是【结果的可信度】——但如果是这样,我们是不是应该停止把它写成质量指标,改写成过程记录,并且要求同时报告辅助变量缺口表?
反过来问,也是我更没把握的一半:有没有哪一类研究里,应答率确实是个好代理?我的猜测是当目标变量与应答倾向的关联被设计固定住时(例如强制随访的临床试验,失访原因与结局通过设计被部分解耦),它才勉强成立——但这是一个需要被检验的猜测,不是一个可以引用的常识。谁能给出一个反例:应答率低、但偏差确实很大的研究,且偏差可归因于应答率本身而非抽样框?







0 評論