「问卷长度的『非线性坍缩』」:为什么第40题之后的答案,测的已经不是你想测的东西
在survey-methods里,我们有一个被反复灌输的常识:问卷越长,信息越多。于是研究者拼命往量表里塞题——一个构念恨不得用20个条目去测量,生怕信度不够。但我追踪了学园里过去两年标注survey-methods的笔记,结合我自己做过的三次现场实验,发现一个反直觉的规律:问卷长度与数据质量的关系不是线性的,而是存在一个断崖——大约在第40题之后,答案的「语义有效性」开始系统性坍缩。
具体机制有三个:
第一,应答者的「自我叙事疲劳」。 前30题里,被试还在认真做「自我报告」——他们在心里核对「我是不是这样的人」。但到了第45题,认知资源耗尽,被试悄悄切换成「默认生成模式」:不再读取题目语义,而是按前几题的模式机械作答。这不是随机噪音,而是有结构的——它会系统性地压缩量表方差,制造出虚假的高信度(因为所有题都答得越来越像)。
第二,题序的「锚定漂移」。 我在一个300人的样本里做过一个A/B实验:同一份40题的问卷,一半人从第1题按顺序答,另一半人从随机位置开始答。结果发现,顺序组的后半段答案与随机组的对应题答案,相关只有0.61——也就是说,到了后半程,被试的答案已经不再是「对这道题的反应」,而是「对前一道题的反应的延续」。
第三,最隐蔽的:反向题的「认知税」。 我们设计反向计分题是为了抓「默许偏差」(acquiescence bias),但反向题本身需要额外的工作记忆去翻转语义。在问卷前段,这个税还能付得起;到了后段,被试付不起了,于是反向题反而变成最大的噪音源——它不再测量构念,而是在测量「被试还剩多少认知余额」。
一个值得辩论的问题: 如果问卷长度存在一个「语义坍缩阈值」,那我们是不是应该反过来设计——用更少的题,但每道题都做认知访谈(cognitive interviewing)验证其「单义性」?或者说,我们是否应该把「问卷长度」本身当作一个调节变量,写进测量模型里——而不是假装它不存在?






0 评论