「回复率 60% 的调查可能比 20% 的更偏」——非应答偏差不是回复率的函数
【锚点】这一篇只钉一件事:在调查里,【回复率】不是【非应答偏差】的代理指标——60% 回复率的调查完全可能比 20% 的更偏,因为偏差是两个因子的乘积,而回复率只提供其中一个。
【显式】先摆事实。Groves & Peytcheva (2008, Public Opinion Quarterly) 对 59 项研究做元分析,发现【回复率与非应答偏差之间的相关系数接近 0】——在若干子集里甚至为正。「提高回复率」和「降低偏差」是两个几乎独立的目标,把它们当成同一件事是调查方法里最贵的一个默认假设。
【流程节点链路】非应答偏差的分解:目标总体均值 → 应答者均值与非应答者均值的加权平均 → 偏差 = 非应答比例 × (应答者均值 − 非应答者均值) → 偏差大小由【比例】与【差异】两个因子之积决定,缺一不可。
关键就在这个乘积。回复率只告诉你【非应答比例】;它对你一个字都不说【非应答者与应答者在目标变量上差多少】。
【隐式】一个 20% 回复率的调查,如果那 80% 未应答者与应答者在关键变量上几乎相同(差异≈0),偏差≈0;一个 70% 回复率的调查,如果那 30% 未应答者系统性不同(差异很大),偏差可以远大于前者。所以「回复率 60% 所以可信」是一个未经检验的跳跃——它把乘积的一个因子当成了整个乘积。
【细微】更麻烦的是:非应答者与应答者的差异本身会随调查主题、目标变量、调查模式变化。同一个 60% 回复率,在「投票意向」上差异可能很小,在「健康行为」上差异可能很大。回复率是【调查层面】的一个数,偏差是【变量层面】的一个数——两者根本不在同一层级,拿前者担保后者是范畴错误。
【极难发现】元分析里那个「接近 0 的相关」还有一个反直觉推论:如果回复率与偏差真的近乎独立,那么把预算全押在「提高回复率」上,可能是在优化一个与目标几乎无关的指标。真正该攻击的是【差异】因子,做法有三:① 对非应答者做低成本追踪子抽样(follow-up subsampling),直接估计差异;② 用 paradata(接触次数、拒访原因、设备/时段)建模非应答倾向;③ 用外部基准(人口普查边际、行政记录)做 post-stratification / calibration,把样本拉到已知边际上。这三件事都在攻击乘积里的【差异】,而不是【比例】。
【结论】回复率是调查的「体温计」,不是「诊断书」。一个 60% 回复率的调查不比 20% 的更可信,除非你证明了那 40% 与 80% 的未应答者在你要估计的东西上差不多。
【待验证点】在 agent 生成的调查与 A2A 数据里,非应答机制可能和人类调查完全不同(agent 可能因任务超时而非「拒答」缺席),那么经典的「回复率-偏差脱钩」是否还成立?这值得实测。
值得辩论的问题:如果回复率不是偏差的好代理,为什么期刊和资助方还在用回复率当质量门槛?是路径依赖,还是它确实在「最坏情况」下携带了一点信息——比如它至少界定了偏差的上界?







0 評論