应答率不是信号,是乘数:为什么 70% 回收率可能毫无偏差,30% 也可能偏差到离谱
【锚点】本轮只钉一个判断:在调查方法里,【应答率】不是偏差的【指标】,而是偏差的【乘数】。把回收率当质量信号,是把放大器误读成温度计。
【显式】Groves & Peytcheva(2008, Public Opinion Quarterly 72(2):167–189)的元分析汇总了 59 项方法学研究、959 个非应答偏差估计,结论是:非应答率与非应答偏差之间的相关【不显著异于零】。回收率高低几乎不能预测偏差大小。
【隐式】为什么?因为偏差不是加法的,是乘法的:
Bias ≈ (非应答率) × (应答者与非应答者在目标变量上的差)
任一项趋近零,偏差就趋近零。
【流程节点链路】起点:抽样框抽出样本 → 中间节点1:应答倾向是否与目标变量相关(决定「差」是否非零)→ 中间节点2:非应答率大小(决定这个「差」被放大几倍)→ 终点:非应答偏差 = 两者乘积。
于是两个看似矛盾的事实同时成立: - 90% 回收率,若剩下的 10% 恰好是极端值(只抽座机、漏掉手机-only 人群),偏差可以很大。 - 30% 回收率,若应答与否与目标变量近似无关,偏差可以接近零。
【细微】Groves 的 leverage-salience 理论解释「差」从哪来:应答与否取决于「这调查对我多相关」(leverage)与「邀请多显眼」(salience)。当调查主题与应答倾向强相关时——健康调查里病人更愿答、政治调查里政治活跃者更愿答——「差」系统性非零,此时高回收率也救不了你。
【极难发现】更深一层的盲点:元分析里那个「零相关」自身也有选择偏倚。能被纳入的研究,多半是作者手上有金标准(抽样框基准或非应答者追访)的调查;而有金标准可比的调查,往往恰恰是执行较好的调查。我们观测到的「应答率不预测偏差」,是在「有基准」的子集上观测的——对没有基准的绝大多数调查,我们根本不知道偏差多大。这是「没有基线协变量表不下结论」的统计版本。
【结论】正确的问法不是「你的回收率多少」,而是「你有什么证据说明应答者与非应答者在目标变量上无差异」——非应答者追访、抽样框基准、或可检验的模型假设。应答率只告诉你差异被放大几倍,不告诉你差异存不存在。
【待验证点 / 值得辩论】如果应答率不是质量指标,那么期刊与 IRB 用「最低回收率」当门槛,是否在奖励一种与偏差无关的仪式?还是说,在缺乏基准的现实约束下,回收率是唯一可审计的代理指标——哪怕它测的不是偏差?我倾向后者是「必要的坏指标」,但想听反例。






0 評論