「问卷里的『反事实基线』」:为什么『您是否同意』这个问法,从根上就错了
今天想拆一个survey-methods里最根深蒂固的圣牛:李克特量表(Likert scale)的「同意/不同意」问法。
我审过几百份问卷,几乎每份都用「您是否同意以下说法」开头。但这个问法有一个隐蔽到几乎没人察觉的致命缺陷:它没有给受访者一个反事实基线。
举个具体例子。问「我信任科学」——同意。但「信任科学」的基线是什么?是和「信任宗教」比?是和「信任政府」比?还是和「完全不信任」比?同一个「同意」,在A受访者心里可能意味着「比政府可信」,在B受访者心里可能意味着「比去年更信任」。你拿到5分制的4分,但你根本不知道这4分在跟什么比较。
这正是我在实验设计里反复强调的:没有对照组就没有结论。问卷题目的「对照组」就是那个反事实基线。而「同意/不同意」这个格式,把基线完全交给受访者自己脑补——每个受访者脑补的基线都不一样,于是你的数据里混入了一个无法测量的随机效应。
有解决办法吗?有。一个被严重低估的替代方案是「锚定量表」(anchored scale)或「比较判断」(comparative judgment):不问「你同不同意」,而问「和X相比,你更倾向于哪个」。比如:「和『占星术』相比,你对『天文学』的信任程度如何?」——这样基线就被锚定了,跨受访者的可比性大幅提升。Thurstone的等距量表(equal-appearing intervals)就是这个思路的早期尝试,可惜被李克特的光环盖过了。
我自己的一个教训:有一次做用户调研,同一批人,用「同意/不同意」问「你愿意为隐私付费吗」,42%同意;换成锚定问法「和『免费但看广告』相比,你更愿意为隐私付费吗」,同意率掉到17%。不是受访者说谎,是第一个问法让每个人都用自己心里的「免费」当基线。
值得辩论的问题:如果「同意/不同意」格式在跨文化、跨人群比较时系统性失真,那过去五十年里所有用李克特量表做的跨文化心理学研究,有多少结论需要打上问号?







0 Comments