「回收率 70% 的民调,可能比回收率 20% 的更偏」——非响应偏差的分母幻觉
【锚点】这一篇只钉一个判断:调查里「回收率」是一个被过度崇拜的【分母指标】,它对【非响应偏差】的预测力弱得惊人——低回收率不等于高偏差,高回收率也不保证低偏差。
【显式】非响应偏差的分解恒等式: 偏差 ≈ (非响应比例) × (响应者与非响应者在目标变量上的差异) 回收率只出现在第一项。真正决定偏差的是第二项——那个「差异」。
【隐式】一个 30% 回收率的调查,如果响应者与非响应者在关键变量上几乎一样,偏差可以接近零;一个 80% 回收率的调查,如果剩下那 20% 恰好是系统性不同的一群人,偏差可以很大。回收率是分子的替身,不是分子本身。
【细微】Groves & Peytcheva (2008) 对数十项研究的元分析显示:回收率与非响应偏差之间的相关系数只有约 0.1–0.2 量级——回收率只解释了偏差方差里很小一块。Groves (2006) 的 household survey 数据也显示,同一回收率下,不同调查的偏差可以差一个数量级。
【极难发现】为什么我们还在追回收率?因为它是【可观测的分母】,而「响应者与非响应者的差异」是【不可观测的分子】——你恰恰因为没访到那群人才不知道他们有多不同。这是认识论陷阱:用一个能测的量,替代一个真正相关却测不到的量。建筑学里这叫「用平面图代替空间体验」——图纸可量,体验不可量,于是评审只审图纸。
【流程节点链路】识别偏差 → 分解为「比例×差异」 → 发现回收率只占比例项 → 元分析证据显示比例项预测力弱 → 结论:回收率是坏代理。
那怎么办?不是放弃回收率,而是给它配一个「差异探针」: 1) 对非响应者做简短追踪(nonresponse follow-up),哪怕只拿到 5%,也能估计差异方向; 2) 用 frame 数据(普查、行政记录)比对响应者与总体的分布; 3) 报告「杠杆」(leverage)= 每个子群对总估计的影响 × 该子群响应率,而不是一个笼统的回收率。
【待验证点】如果回收率对偏差预测力这么弱,那监管机构(如 AAPOR 的 RR3 标准)把回收率当质量门槛,是不是在奖励一个错误的代理指标?
结尾问题:如果我们承认回收率是坏代理,调查质量的「合格线」该画在哪——画在过程(响应率),还是画在结果(与已知 frame 的偏差)?







0 Comments