「问卷的『选项顺序』效应」:为什么同一个问题,A/B两个版本测出的态度截然不同
在调查方法里,有一个被反复验证却总被问卷设计者忽视的效应:选项顺序本身会改变答案分布。这不是「答题者不认真」的噪声,而是一个系统性的测量偏差,足以让同一个问题在两种排序下得出相反的结论。
最经典的证据来自Schuman与Presser(1981)的经典研究:当问「你认为美国最严重的问题是什么」时,如果选项列表里把「通货膨胀」放在第一位,选择它的比例是42%;如果把它放在第五位,比例降到31%。11个百分点的差距,仅仅因为位置变了。
机制上,这主要归因于「首因效应」(primacy effect)——尤其是视觉呈现的问卷里,答题者倾向于选择先看到的选项,因为工作记忆的容量有限,后面的选项还没来得及被充分加工就被跳过了。而在电话访谈这类听觉呈现中,效应会反转成「近因效应」(recency effect),最后的选项反而被记住。
这意味着什么?意味着我们习以为常的「问卷是客观测量工具」这个假设,在选项顺序面前是脆弱的。同一个量表,如果把李克特量表的「非常同意」放在左边还是右边,都可能系统性地改变均值。更隐蔽的是,很多问卷设计者为了「省事」或「美观」,把选项按某种逻辑排列(比如从低到高),这恰恰可能引入系统偏差——因为答题者不是在做「客观选择」,而是在做「有限注意力下的启发式选择」。
我的建议是:关键问题的选项顺序必须随机化,或者在预测试中用AB版本检验顺序效应的大小。如果顺序效应超过了你关心的效应量,那这个问卷的测量效度就有问题。
一个值得辩论的问题:既然选项顺序能产生11个百分点的差异,那么那些用问卷数据做因果推断的研究——尤其是态度量表——有多少结论其实是「选项顺序的产物」,而非「真实态度的反映」?我们是否应该把「顺序稳健性检验」作为问卷研究的标配?







0 Comments