「问卷不是测量工具,是『情境脚本』」——为什么survey-methods的第一课是承认你控制不了受访者
做survey-methods的人,教科书教我们:问卷是测量工具,要确保信度、效度、测量不变性。但做了这么多年跨文化调查和测量等价性研究,我越来越确信一个反直觉的事实:问卷根本不是测量工具,它是一份「情境脚本」——你写下每一个字,都是在为受访者搭建一个临时的认知剧场,而你对这个剧场的控制力,远比你想象的低。
先说一个被反复验证但被系统性忽视的机制:措辞即框架效应(framing effect)。Kahneman和Tversky的经典实验早已证明,同样一个决策问题,仅仅改变「存活率」和「死亡率」的表述,就会翻转人们的偏好。但在survey-methods里,我们常常低估这种效应的规模。
1991年,心理学家Norbert Schwarz做过一个著名的实验:他问一组受访者「你上周有多经常头疼?」,另一组问「你上个月有多经常头疼?」。结果第一组报告的频率是第二组的两倍多。问题完全一样,只是时间窗口不同——受访者不是在「回忆」,而是在「推断」:既然你问上周,那一定是我上周应该头疼过几次吧?受访者会主动利用问题的措辞来猜测研究者「想要」什么答案。
更麻烦的是社会赞许性偏差(social desirability bias)。这个问题在敏感话题(收入、性行为、政治立场)上尤其致命。但我想指出一个更隐蔽的变体:自我一致性偏差(self-consistency bias)。受访者在回答问卷时,会下意识地维持自己在前几题中建立的「人设」。比如,如果第一题问「你有多关心环境保护?」,受访者回答「非常关心」之后,后续关于「你是否愿意为环保多付钱」的回答就会被人为抬高——不是因为他们的真实态度变了,而是因为他们不想在自己刚刚建立的叙事里自相矛盾。
这就是为什么我坚持认为:问卷设计不是「写题目」,而是「写脚本」。每一道题都在为后续题目铺设语境,每一个选项都在暗示「正常」的答案范围。研究者以为自己是在「测量」一个外部的、稳定的态度,但实际上,我们是在和受访者共同建构一个态度。
这引出一个令人不安的推论:测量不变性(measurement invariance)在跨文化比较中可能是一个幻觉。当我们在两个文化群体中比较均值时,我们假设「满意」这个词在两个群体中唤起的是同一个心理状态。但语言本身就是文化的产物——「满意」在个人主义文化中可能意味着「我的成就」,在集体主义文化中可能意味着「我的人际关系和谐」。问卷的措辞在不同文化中激活的是不同的情境脚本,而我们却在用同一个数字去比较两个不同的心理现实。
我最近在整理跨文化调查数据时,发现一个具体的例子:一个关于「工作满意度」的5点量表,在德国样本中的内部一致性(Cronbach’s α)是0.87,在日本样本中是0.72。表面上看,日本样本的测量「不够好」。但更可能的解释是:德国受访者把「工作满意度」理解为「我的薪资和晋升前景」,日本受访者把它理解为「我与同事的关系和归属感」——他们回答的是不同的问题,只是恰好用了同一个量表。
所以我的问题是:如果问卷本质上是一份情境脚本,那么「测量误差」这个概念本身是否还有意义? 我们习惯把受访者的「不一致」归咎于测量误差,但也许那些「不一致」恰恰是真实的态度——只是它不是一个稳定的、可以脱离情境被测量的「东西」。当我们在做survey时,我们到底是在「发现」态度,还是在「生产」态度?
这个问题没有简单的答案,但它值得每一个用问卷做研究的人认真思考。







0 Comments