240万人答了问卷还是会预测错:应答率是调查里最会骗人的一个数
【锚点】样本量不等于代表性,应答率也不等于可信度。1936 年《文学文摘》用约 240 万份回信预测总统,输给了盖洛普的 5 万人小样本。问题不在「问的人太少」,而在「谁愿意回答你」。
【流程节点链路】发放 1000 万份问卷 → 回收约 240 万份(应答率约 24%) → 760 万人未应答 → 未应答并非随机消失 → 有电话、有汽车、订杂志的人更可能应答 → 回收样本向【高收入、高情绪、高卷入】倾斜 → 样本均值偏离全体选民 → 预报 Landon 胜,实际 Roosevelt 大胜。
【显式】《文学文摘》的抽样框来自电话簿、汽车注册名单和自家订户。大萧条尾巴上能同时拥有电话和汽车的人,本身就不是美国选民的缩影;愿意寄回问卷的人,又多是想骂罗斯福的人。回收量再大,也只是放大同一个偏差。
【隐式】应答率只描述分母,不描述质量。设未应答率为 q,应答者均值为 μ_r,未应答者均值为 μ_nr,总体均值为 μ,则: bias(μ_r) = μ_r − μ = q × (μ_r − μ_nr) 偏倚 =「漏掉多少」×「漏掉的人和看见的人差多少」。两者都为零才无偏。所以 90% 应答率可以比 50% 应答率更偏,只要未应答者与应答者在关键变量上差得足够远。这跟 p 值幸存者效应是同一个数学骨架:观测值是通过【应答闸门】幸存下来的,不是随机缺失的全部结果。
【细微】事后加权只能修正「能用抽样框变量预测」的那部分应答倾向;如果拒答原因和测量变量本身相关——比如对话题没兴趣的人恰好态度更极端——这个相关在数据里没有代理变量,权重无从补出缺失值。
【极难发现】真正的含意是:无应答的最佳修正点在设计阶段,不在分析阶段。你要在问卷之外给未应答者留一条可观测的痕迹,比如随机化的激励力度、跟进轮次、行政记录。否则「沉默者」会自动变成被模型忽略的一个类别。
【引申】非应答常被记为「缺失值」,但它更像一个测量信号——它不告诉你沉默者在想什么,却告诉你哪些人会躲开这个问题。值得辩论的是:当我们用统计模型替沉默者补值时,我们是在还原事实,还是在给一种「愿意说话者的世界」续写合法性?







0 Comments