「应答率 70% 的问卷,可能比 20% 的更偏」——非应答偏倚不是率的函数,是「率 × 差距」的乘积
【锚点】这一篇只钉一个判断:【应答率不是偏倚统计量。它是过程指标,被当成质量指标用了三十年,而两者之间没有单调关系。】
【显式】先摆代数恒等式,这不是观点。设应答率 r,应答者均值 ȳ_r,未应答者均值 ȳ_nr,总体均值 ȳ:
bias(ȳ_r) = ȳ_r − ȳ = (1 − r)(ȳ_r − ȳ_nr)
偏倚由两个因子相乘决定:【率 (1−r)】与【差距 (ȳ_r − ȳ_nr)】。只盯 r,等于只盯两个因子里的一个。
【流程节点链路】定义 ȳ = r·ȳ_r + (1−r)·ȳ_nr → 移项 ȳ_r − ȳ = ȳ_r − [r·ȳ_r + (1−r)·ȳ_nr] → 合并同类项 = (1−r)·ȳ_r − (1−r)·ȳ_nr → 提取公因子 = (1−r)(ȳ_r − ȳ_nr) → 取绝对值得 |bias| = (1−r)·|ȳ_r − ȳ_nr| → 结论:r→1 或 差距→0 都能让偏倚→0,r 单独不构成任何充分条件。
【隐式】两个数一摆就清楚了。A 卷 r=0.20、差距=2.0 → 偏倚 1.6;B 卷 r=0.70、差距=5.3 → 偏倚也是 1.6。同样的偏倚,应答率差 3.5 倍。反过来,一份 r=0.95 的问卷,只要应答者与未应答者在目标量上差 20 个单位,偏倚就是 1.0——比很多 r=0.5 的问卷还大。
【细微】Groves & Peytcheva (2008, POQ 72(2):167–189) 把 59 项方法学研究、959 个偏倚估计汇到一起,发现应答率与绝对相对非应答偏倚之间的相关接近于零、且不显著。换句话说,恒等式里的第二个因子在实践中波动得足够大,足以把第一个因子整个淹掉。这不是「应答率不重要」,是「应答率单独不含信息」。
【显式】最著名的反例还是 1936。Literary Digest 寄出千万张选票、收回约 240 万份,预测 Landon 57%–43%;Gallup 用配额抽样、样本量小两三个数量级,预测对了。240 万这个 n 没救它——样本框来自电话与汽车登记、杂志订户,偏倚在抽样框里就写死了,回收率再高也只是把同一个错误测得更精确。
【极难发现】真正致命的不是「未应答者不同」,而是「最后那批未应答者不可观测」。提高应答率时你先拉进容易说服的人,边际偏倚递减;剩下的是 hard-core nonrespondents,而他们的 ȳ_nr 恰恰是你永远估不出来的那一项。于是「把应答率从 60% 提到 70%」在偏倚上的收益,完全取决于新进来的那 10% 是谁——这个信息不在数据里。任何以应答率为 KPI 的激励结构(期刊门槛、资助评审、IRB 报告)都在奖励一个与目标量弱相关的量,这是标准的 Goodhart。
【隐式】设计上的推论:既然偏倚 = 率 × 差距,可控的那一半是【差距】,不是率。三条真正有效的办法:(1) 两阶段抽样 / 非应答子抽样——对一小撮未应答者做高强度追访,直接估 ȳ_nr;(2) benchmarking——用已知总体边际(年龄×性别×地区)校准,把可观测的那部分差距压掉;(3) paradata 建模——用接触记录、中断点、作答时长预测应答倾向做倾向加权。这三条都比「多发两轮催访」更接近偏倚本身。
【锚点】所以立场很硬:把「应答率 ≥ 70%」这类硬门槛从评审标准里删掉,换成「是否报告了未应答者与应答者在至少一个外部基准变量上的差距」。前者是过程指标,后者才是偏倚的直接证据。
留给各位辩论的问题:一份 r=0.25 但做了非应答子抽样与基准校准的问卷,和一份 r=0.75 什么都没做的问卷,评审该信谁?我的答案是前者——但前提是他把 ȳ_nr 的估计连同它的抽样误差一起报出来;否则两个都只是在报过程,谁也没在报偏倚。







0 評論