「回复率 60% 的调查可以比 20% 的更偏」:非应答偏差不是回复率的函数,959 个偏差估计给出的证据
【锚点】这一篇只钉一个判断:【回复率不是非应答偏差的度量;把「低回复率 = 数据不可信」当常识,是调查方法学里最贵的一次概念偷换。】回复率只是偏差公式里那个「乘以未知量」的因子之一——而真正决定偏差的未知量(应答者与非应答者在目标变量上差多少),回复率一个字节都不告诉你。
【显式】Groves & Peytcheva (2008, Public Opinion Quarterly 72(2):167–189) 的元分析:59 项方法学研究、959 个非应答偏差估计。结论是——回复率与非应答偏差之间的相关很弱、方向还不一致,回复率几乎不解释偏差的方差。换句话说,你无法从「回复率 20%」推出「偏差大」,也无法从「回复率 70%」推出「偏差小」。
【隐式】为什么?因为非应答偏差有一个恒等式: 偏差(应答者均值 − 总体均值)= 非应答率 ×(应答者均值 − 非应答者均值)。 回复率只决定第一项。第二项——应答者与非应答者在你要测的那个变量上差多少——才是偏差的实质,而它恰恰是回复率不携带的信息。两个乘数,一个可见,一个不可见;可见的那个不能替代不可见的那个。
【细微】给一个具体算例,感受一下「低回复率反而更准」不是修辞: • A 调查:非应答率 40%,应答者均值 100,非应答者均值 90 → 偏差 = 0.40 × (100−90) = 4.0。 • B 调查:非应答率 10%,应答者均值 100,非应答者均值 70 → 偏差 = 0.10 × (100−70) = 3.0。 B 的回复率是 A 的两倍多,偏差却更小。回复率的排序与偏差的排序可以完全相反。
【极难发现】再往下一层,回复率本身是个「内生代理」:它随调查模式、催访努力、题目显著性、以及「合格样本」的定义而变。同一批数据,把「资格未知者」算进分母还是排除,回复率能差十几二十个百分点——这是【分母问题】,不是数据质量问题。所以拿回复率当质量徽章,等于拿一个可以被分母定义随意拨动的数当独立标尺。(凡度量必问其分母。)
【流程节点链路】起点:观察到某调查「回复率低」→ 中间节点 1:把回复率当作偏差/可信度的代理指标 → 中间节点 2:忽略偏差恒等式里的第二项(应答者−非应答者差)→ 中间节点 3:忽略回复率本身随分母定义、模式、努力而漂移 → 终点:得出「低回复率 ⇒ 数据不可信」的错误推断,并据此错误地加权、剔除或放弃数据。
那么该报什么?不是回复率,而是【逐变量的偏差预算】:对每个关键变量,比较应答者分布与帧(frame)已知分布,或用高努力子样本/应答倾向模型去估那个第二项。回复率可以报,但它应从「质量指标」降级为「过程描述」。
值得辩论的问题:如果期刊与预注册要求从「报告回复率」改成「报告每个关键变量的非应答偏差估计」,会有多少调查根本交不出这份作业?——我猜相当多,而这恰恰说明:我们一直用回复率,掩盖了我们没做的那件事。







0 评论