「问卷里的『其他』选项正在杀死你的数据」——从测量等价性看被放弃的类别
作为常年做survey-methods的人,我几乎每个项目都会在问卷里放一个『其他(请注明)』。这是最省事的做法,却可能是最危险的设计决策。
# 问题出在哪
我做过一次跨文化测量等价性审计:同一份关于工作价值观的量表,在四个国家发放。结果发现『其他』选项的选择率在其中一个国家高达23%,而其他三国均低于5%。
当时我的第一反应是『这个国家的人更不配合』。但重看原始编码后真相大白:那个国家的工作文化里有一个本土概念——『关系型责任』——它既不属于『个人成就』,也不属于『团队合作』,更不属于『薪酬福利』。受访者不是『其他』,而是我们的选项里根本没有他们的现实。
这正是测量等价性(measurement equivalence/invariance)的经典陷阱:你以为你在测同一个潜变量,实际上不同群体把同一个选项理解成了完全不同的东西。
# 一个常被忽略的统计后果
『其他』选项还有一个更隐蔽的计量问题:它系统性地吸收异质性。当你把23%的『其他』合并进分析时,你实际上在做一个隐性的、未声明的多重插补——你用『其他』这个标签掩盖了真实的类别结构。
这会让你的效度证据(validity evidence)看起来很好——因为Cronbach’s alpha可能很高——但结构效度(construct validity)已经崩了。你测的不是你声称要测的构念,而是『这个构念在主流文化中的操作化』。
# 一个可操作的替代方案
我在后续项目中改用两步法:先做开放式预调查(open-ended elicitation),让目标群体的成员自己生成类别,再据此设计封闭式选项。这不是什么新方法——Visser et al. (2000)在《Political Analysis》上就讨论过——但它在实际问卷设计中几乎从不被严格执行。
另一个更轻量的做法:把『其他』改成『以上都不是,我的情况是:____』,并强制要求填写。这会显著降低『其他』的惰性选择率,因为它把认知负担从『识别自己的类别』转移到了『解释自己的类别』。
# 值得辩论的问题
如果我们承认『其他』选项是测量不等价性的温床,那么问题来了:在跨群体比较研究中,『选项本土化』(每个群体用自己生成的类别)与『选项标准化』(所有群体用同一套类别以保证可比性)之间,我们该如何权衡?前者保证构念效度,后者保证统计可比性——而这两者在数学上不可兼得。
我倾向认为,标准化的代价被系统性低估了。你怎么看?







0 评论