「24% 回收率错 19 个百分点,5% 回收率却对」:回收率不是质量指标,是分母
【锚点】这一篇只钉一个判断:回收率(response rate)不是偏差的度量,它只是偏差公式里那个唯一可见的乘数。真正的偏差是「回收率缺口 × 应答者与非应答者在结局上的差异」,而第二个因子几乎从不被报告。
一、【显式】一个高回收率的灾难
1936 年《文学文摘》(Literary Digest)寄出约 1000 万张模拟选票,收回约 240 万张——回收率约 24%,样本量是当时任何民调的百倍。它预测 Landon 57% : Roosevelt 43%。Roosevelt 实际赢了 62% : 38%,误差 19 个百分点。
同年 Gallup 用约 5 万人的配额样本,预测 Roosevelt 约 56%,误差在 6 个百分点以内。
【显式】事实:回收率 24%、样本量百万级的调查错了 19 个百分点;样本量小两个数量级、回收机制完全不同的调查对了。样本量和回收率都不是保护。
Literary Digest 的真正死因不是回收率,是【抽样框】:它的名单来自电话用户、汽车登记和杂志订户——1936 年大萧条中,这三样都是财富标记。它抽的是「有钱人」,然后非常成功地让有钱人回了信。
二、【隐式】把总误差拆开,回收率只碰其中一项
总调查误差(total survey error)至少可以拆成四条箭头: 覆盖率误差(目标总体 → 抽样框)+ 非应答误差(抽中 → 应答)+ 测量误差(应答 → 真值)+ 加权/估计误差(应答者 → 估计量)。
回收率只度量第二条箭头。而 1936 年杀死 Literary Digest 的是第一条箭头——它根本不进回收率的分子分母。
【隐式】推论:一个调查可以回收率 95%,同时因为抽样框漏掉了 30% 的目标总体而系统性错误;也可以回收率 5%,而抽样框完美、非应答与结局无关。回收率对总误差没有单调关系。
三、【细微】公式:可见的乘数 × 不可见的差值
设非应答率 ρ,应答者结局均值 ȳ_r,非应答者 ȳ_nr,则
Bias = ρ · (ȳ_r − ȳ_nr)
ρ 是可见的、可报的、期刊要求的。差值 (ȳ_r − ȳ_nr) 是不可见的——你恰恰没有非应答者的数据,否则他们就不是非应答者了。
【细微】所以回收率的地位很奇特:它是偏差公式里唯一能被算出来的因子,乘的却是唯一算不出来的因子。当 ρ = 0.95 而差值为 0 时,偏差为 0;当 ρ = 0.40 而差值巨大时,偏差可以吞掉整个结论。回收率单独出现时,信息量接近于零。
四、【极难发现】Manski 最坏情况界:回收率真正的作用
Manski (1990) 的非参数界给出了唯一不需要任何假设的陈述。若结局是二值的、应答率为 p,则总体均值落在
[ p·ȳ_r , p·ȳ_r + (1 − p) ]
这个界只依赖 p。所以回收率的严格作用是:它决定你能「保证」什么,而不是决定你「错了多少」。
p = 0.05 时,界宽 0.95——几乎无信息;p = 0.60 时,界宽 0.40——仍然很宽,但至少排除了极端。这就是回收率的全部合法性来源:它是最坏情况界的宽度参数。
【极难发现】反直觉的推论:一个 5% 回收率的调查,如果报告了 40%–60% 的 Manski 界,它在形式上比一个 60% 回收率、只报点估计、不做非应答分析的调查更诚实、也更难被反驳。前者的不确定性是明示的,后者把不确定性藏进了「回收率很高」这句安慰话里。
五、【流程节点链路】
目标总体 → 抽样框(覆盖率误差,回收率看不见)→ 抽中样本 → 应答者(非应答误差,回收率唯一度量的一段)→ 加权应答者(加权误差)→ 估计量(抽样误差、模型误差)
一个节点都不能省:回收率只覆盖第三段箭头,而 1936 年的灾难发生在第一段。任何把「回收率 60%」当成质量印章的审稿意见,都是在用第三段箭头为第一段箭头背书。
六、观点:回收率是一种仪式
期刊和伦理审查要求报回收率,几乎从不要求报非应答偏差分析,更不要求报 Manski 界。这等于要求作者报告「最坏情况界的宽度参数」,却不要求报告界本身——一种把可算的量当成质量证明的仪式。
我的主张:报回收率的同时必须报至少一项——(a) 对关键结局的非应答偏差敏感性分析;(b) Manski 界;(c) 用外部基准(行政数据、普查边际)做的覆盖/加权校准。三者都做不到时,至少承认点估计没有识别性。
【辩论】如果回收率只通过最坏情况界影响推断,那么一篇 5% 回收率、界为 40%–60% 的调查论文,还能被称为「证据」吗?还是说,它其实是一份关于「我们不知道」的精确报告——而后者恰恰是很多 60% 回收率的论文不敢写的?







0 評論