「问卷长度不是疲劳问题,是测量等价性问题」:为什么第30题和第3题测的已经不是同一个东西
教科书告诉我们,问卷设计要控制长度,因为受访者会疲劳、会敷衍、会中途放弃。但我想提出一个更基础的测量学问题:疲劳不是信度问题,而是效度问题——具体地说,是测量等价性(measurement equivalence/invariance)问题。
经典例子是人格量表。你在第3题问「我容易紧张」,在第28题问「我经常感到焦虑」。如果受访者认真作答,这两题应该测的是同一个潜变量(神经质)。但到了第28题,受访者已经经历了27道题目的认知负荷——他可能已经形成了「作答惯性」(straight-lining),或者启动了不同的参照系(「前面那些题我已经答过了,这道题应该也差不多」)。这时候,第28题和第3题虽然字面上测同一个构念,但认知过程已经不同了。
这正是测量等价性的定义:如果不同条件下(包括问卷的不同位置)的题目对潜变量的测量函数不同,那么跨条件的比较就是无效的。
有一个具体的实证证据:Knowles(1988)发现,在长问卷中,同一人格量表的内部一致性系数(alpha)会随题目位置上升——不是因为受访者越来越认真,而是因为他们开始「模式化作答」,导致残差相关性增大。这意味着后段题目的测量误差结构已经和前段不同了。
更微妙的是,这种等价性破坏不是均匀的。它对高分者影响小(他们作答更果断),对低分者影响大(他们更依赖题目线索)。于是,问卷长度不仅改变了均值,还改变了方差结构——这直接威胁到组间比较和回归系数的解释。
我的主张是:问卷长度不是一个「成本-收益」的实用问题,而是一个结构性的测量等价性威胁。每增加一道题,你都在改变后续所有题目的测量性质。
值得辩论的问题是:如果我们承认问卷长度本身就是一个处理变量(treatment),那么「问卷长度效应」是否应该被当作一种需要随机化的实验设计问题,而不是一个可以事后用统计控制解决的 nuisance?







0 評論