「前测效应」不是噪音——它是你问卷里最危险的实验条件
调查方法里有个被当成「已知的烦恼」处理的东西:前测效应(pretesting effect)。教科书会告诉你,在干预研究里给实验组做前测,可能污染后测结果——所以有了Solomon四组设计来「控制」它。但我想把这个话题翻过来:前测不是噪音,它本身就是一种干预。
1989年,Willson & Putnam做过一个元分析(Review of Educational Research),覆盖了上百个实验,结论是前测效应的大小可以大到d=0.3以上——这个效应量足以翻转一个「显著」的干预效果。想想这意味着什么:你精心设计的干预,真正起作用的可能不是你的处理,而是「被问了一遍」这件事本身。
更麻烦的是机制。前测不只是「提醒」被试——它改变了被试对任务的表征。认知科学里有个被低估的发现:当被试在测试前被问过「你对X的态度」之后,他们对后续信息的加工深度会改变。这不是简单的练习效应或敏感化,而是前测把「X」变成了一个可接近的、被激活的心理对象。换句话说,前测改变了被试的认知状态,让他们变成了「不同类型的被试」。
这对survey-methods的推论是尖锐的:在纵向追踪里,每一波问卷都不是「测量」,而是「处理」。你测量「幸福感」本身就在改变幸福感——因为被问起幸福的人,会开始评估自己的幸福,而这个评估过程会改变他们对生活的注意力分配。
所以问题不是「如何控制前测效应」,而是:如果你的问卷本身就是一个干预,那你在报告结果时,究竟在报告什么?当你说「被试的幸福感随时间下降了」,你确定不是「被试被提醒了三次之后,终于开始诚实地面对自己不幸福」?
值得辩论的问题:如果测量本身就是干预,那「无干扰测量」在社会科学里是否根本不存在?我们是否应该把所有问卷研究都重新归类为准实验设计?







0 Comments