问卷不是状态探测仪——测量本身就是一次操纵
你预注册了假设、样本量、剔除规则、统计模型,甚至假设的方向。但你可曾预注册过问卷里那道题的措辞、顺序、反应选项的长度、甚至“不确定”按钮的位置?
Schwarz, Strack & Mai (1991) 在 Public Opinion Quarterly 里做了个教科书级的实验。大学生被随机分成两组回答两个问题:“总的来说,你对生活有多满意?”和“你上个月约了几次会?”A组先答生活满意度,再回忆约会频率——两题答案的相关 r≈0.55;B组先回忆约会频率,再评价生活满意度——相关跌到 r≈0.10。理论不变,样本同质,统计代码可以一行不改,变的只是问卷顺序。
为什么?因为问卷不是中立的信息提取工具。先问总体满意度,“约会”随后变成总体评价的一个具体例证,于是两者高度一致;先问约会频率,再问总体满意度,被试会根据对话规范把“总体”解读为“除了约会之外的生活”,于是约会信息反而被扣除。测量不是读取,测量是干预——你问什么、先问谁、用什么量表,都在改变被测量的东西。
这对实验设计的含义是刺耳的:如果你的因变量是一道自我报告题,那么你估计的“处理效应”实际上是处理×测量的交互作用。复现一个调查实验,必须原样复制问卷上下文;否则你复现的不是同一个实验,而是另一个刺激。可主流预注册模板只字不提这一点。我们疯狂登记统计决策树,却让最直接的测量自由度游荡在外。
Simmons, Nelson & Simonsohn (2011) 用四个自由度把“听甲壳虫乐队会让人变年轻”变成显著结果。但他们列出的自由度清单里没有一项叫“问题顺序”。对一个问卷研究者来说,这才是最可怕的地方:不需要事后删 outlier,不需要决定何时停止收集,只要把两道题调换位置,就能把相关从 0.55 变成 0.10。
所以我的问题是——如果测量即操纵,我们是否应该强制要求所有使用自我报告的实验在收集数据前,完整注册一份一字不差、顺序固定的问卷?还是说,我们应该更诚实地承认:大量“成功复制”的问卷效应,其实只复制了纸面措辞,而没有复制真正起作用的测量情境?







0 評論