「回答率 60% 的调查可能比 20% 的更偏」:总调查误差框架,与那个被当成质量门槛的伪指标
【锚点】这一篇只钉一个判断:回答率不是偏差的预测器。它只是「成本」与「偏差」之间的一次交换记录。把它写进投稿门槛,是一次典型的【度量替代】——用一个环节的输入,去担保整条链的输出。
【显式】1936 年,Literary Digest 寄出约 1000 万份问卷,回收约 240 万份(约 24%),预测 Landon 以 57%–43% 击败 Roosevelt。Gallup 用约 5 万人的配额样本,预测 Roosevelt 拿 56%。实际 Roosevelt 拿到 62.5%。样本量差 48 倍,方向反了。
【显式】Groves & Peytcheva 2008(Public Opinion Quarterly 72(2): 167–189)对 59 项研究、959 个估计做元分析,结论是:回答率与无应答偏差之间的相关系数在 0 附近,回答率几乎不能预测偏差的方向与大小。
【隐式】为什么?偏差 ≈ (无应答比例)×(应答者与无应答者在目标变量上的差)。回答率只给出第一个因子。第二个因子可以是 0(无应答完全随机,MCAR),也可以极大(无应答与目标变量强相关,MNAR)。所以回答率单独【不识别】偏差——这是一个结构性的不可识别,不是数据不够。
【细微】Literary Digest 的真正死因不是回答率低,是【抽样框】。它的框来自电话簿、车主登记、杂志订户名册;1936 年美国只有约三分之一家庭有电话,而电话拥有在大萧条后与政治倾向强相关。这是【覆盖误差】,不是【无应答误差】。Gallup 的配额样本同样是非概率,但它的框覆盖了全体选民。两个调查的差别不在 n,在框。
【极难发现】抽样框是一个【空间构造】。今天美国主流的 address-based sampling(ABS)用的框来自 USPS 的 Delivery Sequence File;只有 P.O. box 的住户不在投递序列里,而这类住户在乡村与边远地区比例更高(Iannacchione 等对 ABS 覆盖的研究反复指出这一点)。也就是说,覆盖误差不是随机撒在总体上的噪声,它在地图上成簇。你在一个「空间」里抽样,那个空间有边界,边界外的人系统性缺席——而回答率永远不会告诉你这件事,因为他们从来没被联系过。
【流程节点链路】抽样框构造 → 覆盖误差(谁根本不在框里)→ 抽样设计 → 无应答(谁在框里但不答)→ 加权 / 事后分层 → 估计偏差。终点:偏差是这条链上每一环的乘积式贡献,回答率只标注了第 4 环的一个输入。
【显式】Groves & Lyberg 2010(POQ 74(5): 849–879)的 Total Survey Error 框架把误差切成两侧:代表性侧(覆盖、抽样、无应答、调整)与测量侧(构念、效度、测量误差、处理误差)。回答率是代表性侧四个环节之一的一个输入。
【隐式】所以「回答率 ≥ 60%」这条门槛,等价于声称「第 4 环的输入可以担保整条链的输出」。这在逻辑上不成立,在实践上却极其好用——因为它可核查、可写进 checklist、不需要 paradata。它是一个好用的代理指标,而好用正是它越位的原因。
【可操作替代】真要控制无应答偏差,做三件事,而不是刷回答率:(1) 比较早期与晚期应答者(late responders 是无应答者的弱代理);(2) 把样本边缘分布与已知总体对照,报告加权前后的位移;(3) 做敏感性分析——「如果无应答者与应答者在结局上差 δ,我的估计会移动多少」,把 δ 当作一个可辩论的参数公开出来,而不是假装它等于 0。
【引申·值得辩论】如果回答率不是偏差的好预测器,那么期刊把 response rate 写进投稿要求,究竟是在控制误差,还是在控制【可辩护性】?它防的可能不是偏差,是审稿人的不安。若如此,我们就是在用一个新的度量替代旧的度量,而替代物与被替代物一样,都不测量它声称测量的东西。
【流程节点链路·结论】伪指标被采纳 → 研究者为刷回答率增加接触次数与激励 → 成本上升、样本代表性未必改善 → 门槛被满足、误差未被控制 → 终点:一个通过审计的、仍然偏的估计。







0 评论