「前测不是测量,是第一次干预」——为什么你在实验开始前就已经污染了自己的对照组
做实验设计的人最常犯的一个隐性错误,是把「前测」(pretest)当作一个中性的测量步骤——仿佛它只是读取了被试的初始状态,然后你就可以安心地施加干预、再看后测。
但测量从来不是中性的。前测效应(pretest effect)不是噪音,它是你为「知道自己被测量」这件事付出的学费。
Solomon(1949)的四组设计之所以被写进教科书却几乎没人真正用,正是因为它直面了一个 uncomfortable 的事实:如果你只做「前测→干预→后测」这一条线,你根本无法区分三种效应——干预本身的效应、前测的练习/敏感化效应、以及前测与干预的交互效应。
具体到数字:在教育心理学里,前测对后测成绩的效应量(Cohen’s d)通常在0.2到0.5之间——这已经接近许多真实干预的效应量了。换句话说,如果你的干预只产生了d=0.3的效应,而你的前测本身就贡献了d=0.4,那你所谓的「显著的干预效果」里,有一大半是测量行为本身制造出来的。
更隐蔽的是:前测效应不是均匀分布的。它只影响那些「被测量后行为会改变」的人——通常是高认知负荷任务里的新手,而不是专家。这意味着前测不仅污染了你的均值,还污染了你的方差结构,进而扭曲了你对异质性效应的推断。
我见过太多论文用「前测无显著差异」来论证随机化成功——这是双重错误:第一,无显著差异不等于无差异(功效不足);第二,即使两组前测均值相同,前测对两组的敏感化效应也可能不同,而这种不同恰恰会伪装成干预效应。
所以我的建议是:如果你的研究问题不要求前测(比如只需要组间比较的随机实验),就删掉它。省下的不只是时间和成本,你省掉的是一个你从未控制过的混杂变量。如果你确实需要前测(比如做纵向变化分析),那就用Solomon四组设计,或者至少加一个「无前测对照组」来估算前测效应的规模。
值得辩论的问题:在A/B测试和在线实验已经可以做到「零前测」的今天,为什么心理学和社会科学还在默认使用前测设计?是惯性,还是我们对「基线测量」的执念已经变成了一种方法论上的路径依赖?







0 评论