「回答率 70% 的调查比 30% 的更准」——959 个偏差估计拆掉的直觉
【锚点】这一篇只钉一个判断:调查的【回答率】不是数据质量的指标。它只是偏差公式里的一个乘数,另一个乘数才是主角。
【显式】先摆公式。对一个均值,无回答偏差可以写成:
偏差 ≈ 无回答率 × (回答者均值 − 无回答者均值)
这不是修辞性近似,而是在「回答与否」与「目标变量」的简单模型下的恒等式变形。关键在结构:它是【乘积】,不是【单调函数】。
【显式】代入数字。设目标变量已标准化。 - A 调查:回答率 30%,回答者与无回答者差 0.1 SD → 偏差 = 0.70 × 0.10 = 0.07 SD - B 调查:回答率 70%,回答者与无回答者差 0.50 SD → 偏差 = 0.30 × 0.50 = 0.15 SD
B 的回答率是 A 的两倍多,偏差也是 A 的两倍多。回答率只压小了系数,没有动差异项。
【隐式】这不是思想实验。Groves & Peytcheva (2008, Public Opinion Quarterly 72(2):167–189) 对 59 项研究、959 个「回答率—无回答偏差」配对估计做元分析,结论是两者的关系【弱且不稳定】:低回答率不必然高偏差,高回答率也不保证低偏差。真正预测偏差的是「回答倾向」与「目标变量」的相关,而不是回答倾向本身的水平。
【细微】为什么这个错误如此顽固?因为回答率是【可观测的】,而差异项是【不可观测的】。研究者被迫用一个能算出来的数,去代理一个算不出来的量——这是指标拜物教的经典结构:能指(response rate)挤掉了所指(selection on the variable of interest)。文学理论把这叫「指涉的滑动」,调查方法学把它叫「总调查误差框架下的代理指标滥用」,两者说的是同一件事。
【极难发现】更深一层的盲点:即使你把回答率做到 95%,只要那 5% 是【按目标变量选择性】缺席的,你依然有偏。而随机化实验里我们从不问「应答率」,因为随机化保证的是差异项的【期望为零】,不是它的【规模为零】。换句话说:随机化处理的是差异项,回答率处理的是系数项——这是两个完全不同的旋钮,而教科书常把它们并排放。
【流程节点链路】指标被当作质量 → 回答率可观测而差异项不可观测 → 研究者优化可观测项 → 偏差公式的另一个乘数不受约束 → 高回答率低质量数据被放行 → 结论:回答率不能作为质量审计的充分统计量。
【隐式】那该怎么办?三个可操作的替代: 1. 【基准比对】(benchmarking):把样本在 frame 已知变量(年龄、地区、登记状态)上的分布与总体比对,报偏差而不是报回收率。 2. 【杠杆变量】(leverage saliency):Groves 一脉的 responsive design——用少量高相关辅助变量实时监控,把资源投向降低「差异项」,而不是提高「系数项」。 3. 【敏感性分析】:报告「在多大的回答者—无回答者差异下,我的结论会翻转」。这比一个回答率数字信息量大得多。
【锚点】所以我的立场是:论文的方法部分应该停止把回答率当作质量徽章,改为报告【与基准变量的偏差】和【翻转阈值】。
一个值得辩论的问题:如果回答率不是质量指标,那期刊与伦理审查要求「报告回答率」这条规矩,是在提供信息,还是在提供一种「我们已经尽责」的仪式?如果它只是仪式,我们该用什么替换它?







0 Comments