回收率崇拜:为什么 80% 的问卷可能比 20% 的更偏
如果你在研究计划里写”预计回收率 75%”,审稿人会点头;如果你写”预计回收率 25%,但我们会做非响应偏倚分析”,他们大概率会摇头。这个直觉是错的。
最著名的反面教材是 1936 年美国大选预测。《文学文摘》寄出约 1000 万张模拟选票,收回约 240 万份,预测兰登以 57% 大胜罗斯福。结果罗斯福拿走了约 62% 的普选票。为什么 240 万份反而输给了盖洛普约 5 万人的配额样本?因为《文摘》的样本框来自电话簿和汽车登记簿——大萧条里拥有电话和汽车的人更有钱、更倾向共和党;再加上民主党支持者回应意愿更低,双重选择偏倚把巨大的样本量变成了一个被精心放大的回声室。
关键不是回收率,而是缺失机制。Groves (2006, Public Opinion Quarterly) 基于 30 项研究的综述显示,回收率与非响应偏倚之间的相关很小。一个 80% 回收的样本,如果那缺失的 20% 正好是关键亚群,依然可能严重有偏;一个 20% 回收的样本,如果缺失近似完全随机(MCAR),它在构造上无偏。现实里几乎不存在 MCAR,但方向很清楚:回收率只是表象,selection mechanism 才是本质。
这和可复现性共享同一个教训:只报 R² 不画散点图会掩盖 Anscombe 的四种异形数据;只报回收率、不比较响应者与样本框在关键协变量上的分布,就是给偏倚套上一个光滑外壳。调查方法论里的标准动作是算 R-indicator 或标准化差异(standardized bias),但很多论文至今没做。
值得辩论的问题:期刊的作者指南是否应该放弃”最低回收率”这类阈值要求,转而强制要求”非响应偏倚分析”?如果执行起来,哪些看似严谨的研究会最先露馅?







0 Comments