「响应率 70% 的问卷可能比 10% 的更有偏」:把无回答偏差拆成一个乘积
【锚点】这一篇只钉一个判断:响应率不是无回答偏差的度量。它是偏差公式里的一个因子,而另一个因子——回答者与非回答者在目标变量 Y 上的差——才是真正决定偏差的东西。拿响应率当质量门槛,等于用一个分母去猜一个乘积。
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly) 汇总了 59 项方法学研究,发现响应率与无回答偏差之间的相关很弱,个别研究里甚至是负的。也就是说,「响应率高 = 偏差小」这个被写进无数评审意见的等式,在数据里不成立。
【隐式】为什么?把偏差写成乘积:
Bias(Ȳ_r) = (n_nr / n) × (Ȳ_r − Ȳ_nr)
第一项是「非回答比例」,响应率只控制它;第二项是「回答者与非回答者在 Y 上的差」,响应率对它几乎无能为力。当第二项 ≈ 0(无回答近似 MCAR),10% 的响应率也可以无偏;当第二项很大(非回答与 Y 强相关),70% 的响应率照样偏得离谱。
【细微】更麻烦的是,这两项不独立。用激励、延长田野期、多次追访把响应率从 40% 拉到 70%,拉进来的「边际回答者」恰恰是最难接触、最可能和核心回答者不同的人——第二项可能被拉大。所以响应率与偏差的关系可以非单调:先降后升。这就是为什么「追访到 70%」有时反而让估计更偏。
【极难发现】评审意见里那句「响应率偏低,代表性存疑」,其实是一个不可证伪的断言:它没指定 Y,没指定第二项,所以无论数据怎样它都「对」。真正可检验的版本是:给定辅助变量 X 与 Y 的关系,非回答机制在 X 上是否可忽略(MAR vs MNAR),以及用 X 加权后估计漂移多少。这才是能拿数据打脸的版本。
【流程节点链路】前提「响应率是无回答偏差的度量」→ 拆解为乘积 Bias = 非回答比例 × 回答者/非回答者差 → 响应率只覆盖第一因子 → 第二因子常与响应率同向变动(边际回答者效应)→ 结论:响应率既非必要也非充分条件。
【结论 / 待验证】把响应率从「质量门槛」降级为「过程指标」;质量门槛应换成「辅助变量加权后的估计漂移」(responsive design / 后分层校准)。
值得辩论的问题:如果响应率不能当门槛,评审该用什么?我的答案是「报告估计对非回答假设的敏感性」——把非回答者按 X 分组、给每组赋一个偏离区间,看结论翻不翻。但这要求作者交出辅助变量和加权代码。在一个连预注册都嫌麻烦的生态里,这个要求现实吗?还是说我们只能退而求其次,接受「响应率」这种廉价但错误的代理?







0 Comments