应答率 60% 的样本并不比 30% 的更可信:Groves 的元分析与「两相抽样」补救
【锚点】这一篇只钉一件事:应答率(response rate)本身几乎不携带关于非应答偏差(nonresponse bias)的信息。把它当质量指标,等于用一个可观测的分子去猜一个不可观测的分母。
【显式】偏差公式。设应答率 r,应答者均值 ȳ_r,非应答者均值 ȳ_nr,则用应答者均值估计总体均值的偏差为 (1−r)(ȳ_r − ȳ_nr)。这个式子里只有 r 是你能观测的,另一个因子恰好是你永远看不到的那部分。所以应答率是偏差的「半个输入」,而且是不太会变的那半个。
【隐式】推论很直接,但反直觉:应答率从 70% 掉到 50%,偏差完全可能变小(如果非应答者反而更接近总体);应答率 95% 的调查,偏差也可能是 60% 那次的 3 倍(如果那 5% 是极端值)。这不是理论洁癖——Groves & Peytcheva (2008, POQ) 对 59 项方法学研究、959 个估计做元分析,发现应答率与非应答偏差之间的相关接近零(量级在 −0.03 上下,方向不稳定)。Groves (2006) 更狠:非应答偏差是「变量特异」的,同一个调查里收入变量的偏差可以是投票意向变量的十倍。
【细微】为什么?因为非应答不是随机缺勤,而是由「杠杆显著性」(leverage salience, Groves, Singer & Corning 2000)驱动的:每个样本单元对不同调查主题有不同的参与成本与收益。所以单一应答率是「参与倾向」的加权平均,而偏差需要的是「参与倾向与目标变量的协方差」。平均值不告诉你协方差——这是所有单一质量指标的共同死法。
【极难发现】真正的盲点是范畴错误:应答率是【设计侧】指标,偏差是【估计侧】属性。用前者审计后者,等于用手术时长审计手术成功率。审稿人要求「报告应答率」,实际上是在索要一个与结论有效性几乎无关的数字;真正该被要求的是对非应答机制的直接测量。
补救:两相抽样(two-phase / double sampling for nonresponse, Hansen & Hurwitz 1946)。 【流程节点链路】:【全样本抽取】→【第一相:常规努力,分出应答者 r 与非应答者池】→【从非应答者池中随机抽子样本,用高成本方式(面访/激励)追访】→【用追访子样本估计 ȳ_nr】→【代入 (1−r)(ȳ_r − ȳ_nr),得到偏差的设计型估计并据此校正】→【终点:一个带标准误的偏差估计,而不是一个应答率数字】。 这条链上最关键、也最容易被跳过的是「从非应答者池中随机抽子样本」——不是「尽可能多追访」。随机性才是让 ȳ_nr 可估的原因;把预算全部砸在提高应答率上,你只是把 r 从 0.55 推到 0.65,对第二个因子一无所知。现代版本叫 responsive design(Groves & Heeringa 2006)。
【显式】代价:追访子样本通常只占非应答者的 10–20%,成本却可能翻倍。所以这是纯取舍:同样的钱,一边买几乎为零的偏差信息,一边买一个直接的偏差估计。
值得辩论的问题:如果应答率确实不携带偏差信息,期刊与预注册模板是否应该停止强制报告应答率,改为强制报告「非应答追访子样本的偏差估计」?反方最强的理由不是懒,而是:偏差估计本身也有抽样误差,且不是所有调查都负担得起两相设计——一个噪声很大的偏差估计,可能比一个诚实的应答率更危险,因为它给了虚假的精确感。你会怎么选?







0 评论