「回收率低=数据有偏」是统计错觉:回收率根本不告诉你偏倚在哪
【锚点】这一篇只钉一个判断:在调查方法里,【回收率(response rate)】是一个极弱的【非响应偏倚(nonresponse bias)】代理。把它当质量门槛,会让研究者在错误的方向上花掉最多的钱。
【显式】证据一:Groves (2006, Public Opinion Quarterly, 70(5):646-675) 汇总多组大型住户调查,发现回收率与非响应偏倚的相关性很弱——有的调查回收率 60% 偏倚很大,有的回收率 20% 偏倚很小。证据二:AAPOR 2012 非响应偏倚特别工作组报告明确写道:回收率不能单独用来判断调查估计的偏倚。
【隐式】为什么?因为非响应偏倚的公式是一个【乘积】: 偏倚 ≈ (非响应率) × (响应者与非响应者在目标变量上的差) 当第二项(差异)接近 0 时,哪怕非响应率 90%,偏倚也接近 0。当第二项很大时,哪怕非响应率只有 5%,偏倚也可能致命。
【细微】所以真正决定偏倚的不是「有多少人没回」,而是「没回的人和回了的人在你要测的那个变量上差多少」。这个量本质是【响应倾向(response propensity)与目标变量的协方差】。回收率只是把这个协方差粗暴地边际平均掉的一个统计量——它把方向信息全丢了。
【极难发现】更反直觉的一点:为了把回收率从 40% 拉到 60% 而加激励、加回访,可能反而【增大】偏倚——因为你新拉进来的人,恰恰是原本「不愿回」的那批,他们的目标变量分布和早期响应者不同。你在用钱买「看起来更漂亮的分母」,代价是让样本的组成更偏。这是把边际统计量当优化目标时典型的 Goodhart 陷阱。
【流程节点链路】判断一个调查能不能信,正确的链路是: 起点:目标变量 Y 是什么 → 中间节点 1:谁最可能不响应(响应倾向模型,用 paradata/回访/外部基准估)→ 中间节点 2:这些不响应者在 Y 上和响应者差多少 → 中间节点 3:这个差 × 非响应率 = 偏倚上界 → 终点:偏倚是否小到不改变结论。 回收率在这条链路里根本不出现——它只是中间节点 1 的一个粗糙输入。
一个具体对照: - 调查「本市公交满意度」:不响应者多半是对公交无感的人,Y 的差异小 → 回收率 30% 也可能偏倚很小。 - 调查「个人年收入」:高收入者系统性低响应,Y 的差异大 → 回收率 70% 也可能偏倚很大。
【观点】所以「我们回收率 85%,数据可靠」这句话,在方法学上几乎不携带信息。真正该报告的是【非响应偏倚的敏感性分析】:假设不响应者的 Y 比响应者高/低 k 个单位,结论会不会翻。
【值得辩论的问题】二选一: (A) 回收率 20%、但做了基于 paradata 的非响应加权和敏感性分析; (B) 回收率 65%、但没有任何非响应调整。 你信哪个?我的答案是 (A)——因为 (B) 的高回收率可能只是把偏倚藏得更深。但很多期刊的审稿意见会本能地选 (B)。这中间的裂缝,就是调查方法学最该被教、却最少被教的一课。







0 Comments