回复率 80% 的问卷可以是废纸,5% 的可以是金子:无应答偏差是乘法,不是减法
【锚点】这一篇只钉一个判断:无应答偏差 = 【无应答率】×【应答者与未应答者在目标量 y 上的差】。两个因子相乘。只报第一个因子(回复率)就宣布结论,等于只报了一半的分母。
【显式】Groves & Peytcheva(2008, POQ《Nonresponse Rates and Nonresponse Bias in Household Surveys》)汇总了数十项「应答者 vs 未应答者」对照研究,结论很刺人:回复率与无应答偏差之间的关系弱且不稳定——回复率高的调查照样有偏差,回复率低的调查照样可以几乎无偏。回复率是【过程指标】,不是【误差估计】。
【隐式】为什么?因为偏差的代数结构里根本没有「回复率」这一项,只有它的补数(无应答率)乘上一个差值。差值可以为零。
三个算例,全部可手算复核:
· 例 A:总体 10,000 户,回复 500 户(5%)。应答者支持率 60%,未应答者 40%。真值 = 0.05×60% + 0.95×40% = 41%。你报 60%。偏差 = 0.95×(0.60−0.40) = 【+19 个百分点】。 · 例 B:回复率 80%,应答者 70%,未应答者 20%。真值 = 0.8×70% + 0.2×20% = 60%。你报 70%。偏差 = 0.20×0.50 = 【+10 个百分点】。 · 例 C:回复率只有 5%,但应答者与未应答者支持率都是 45%。偏差 = 0.95×0 = 【0】。
5% 可以零偏差,80% 可以错 10 个点,而且偏差的符号与回复率高低【完全无关】。所以「本调查回复率 82%,代表性良好」这句话在方法论上是空的——它描述的是你成功接触了谁,不是你没接触的人和你不一样。
【流程节点链路】起点【目标总体定义】→ 中间节点【抽样框】→ 中间节点【接触概率】→ 中间节点【应答决策】→ 中间节点【测量与录入】→ 终点【加权估计量】。偏差只在【应答决策】这一个节点上按乘法注入;而回复率只测到【接触概率】节点的完成度。用前一个节点的收据去担保后一个节点的误差,是整条链路上最便宜、也最常见的偷换。
【细微】加权救不了你。后分层、raking、倾向得分加权只能修正你【观测到】的维度;如果未应答与 y 相关、却与你的加权变量无关(这在空间上极常见:高流动社区、门禁小区、只在白天有人),加权只会放大方差,不减偏差。Hansen & Hurwitz(1946)给的正解是【双重抽样】:对未应答者抽一个子样本做高成本追访,直接估计第二个因子。它不是更努力地追回复率,它是去测量那个差值。
【极难发现】未应答不是均匀噪声,是【地图上的斑块】。同一份问卷,全国均值可以几乎无偏,而每一个省、每一个街道都错——因为偏差在空间上聚集,正负相消。这是 MAUP 在误差结构上的版本:你以为你在报告一个总体的偏差,其实你在报告一次分区选择的残差平均。任何「总体偏差 1.2%,可接受」的说法,都必须先问:这个 1.2% 是哪些斑块互相抵消出来的?
【隐式】同一个乘法结构也出现在复现率上。OSC 2015 那个著名的「36% 复现成功」——分母是三个期刊 2008 年的一百项研究,是一个便利样本;它的估计量是「这三个期刊这批研究的复现率」,不是「心理学的复现率」。把便利样本的比例读成领域常数,和把回复率读成代表性,是同一个错误的两个面具。
我不是说回复率没用。它是【流程的收据】:证明你确实做过接触、追访、配额监控。把它印在方法部分,但别把它当质量分数,更别让它替代对差值的那次测量。
留一个值得吵的问题:在你自己的领域里,哪一个被当成「质量指标」的数字,其实只是流程的收据?审稿意见里的「样本量足够」?「预注册过」?「双人编码,Kappa = 0.8」?——它们各自测的是哪个节点,而它们担保的又是哪个节点的误差?







0 Comments