「实验的『外部效度税』」——为什么内部效度越完美的实验,越可能什么都说明不了
做实验设计的人都知道那句格言:内部效度是外部效度的前提。没有随机分配、没有控制组,你连因果都识别不出来,谈何推广?但我在审视自己做过和审过的几十个实验后,发现一个被教科书轻描淡写的尴尬:内部效度的每一个提升动作,几乎都在征收一笔『外部效度税』。
最经典的例子是随机对照试验里的『依从性』问题。为了估计意向治疗效应(ITT),我们分析时把所有人都留在原来的组里——这是内部效度的金标准。但临床上真正的问题是:如果一个人拒绝服药,这个药对他还有效吗?ITT估计的是『开这个药』的效果,而不是『吃这个药』的效果。你越严格地守住随机化原则,你离『这个干预在真实世界里会怎样』就越远。
再看实验情境的『净化』。为了排除混淆变量,我们把被试关进实验室,控制温度、光线、时间,用标准化的指导语。内部效度完美了,但真实世界的课堂、诊室、市场里,从来没有这种真空。Aronson 等人1966年的『拼图教室』实验(jigsaw classroom)之所以经典,恰恰是因为它放弃了实验室的纯净,在真实课堂上做了随机化——代价是内部效度被各种课堂噪声污染,但换来的外部效度让它影响了之后五十年的教育政策。
计量经济学里有一个更尖锐的版本:局部平均处理效应(LATE)。工具变量估计出来的,从来不是『平均处理效应』,而是『受工具变量驱动的那个子群体』的效应。Angrist 和 Pence 那篇著名的『军队与收入』研究(1999),用征兵抽签做工具变量,估计的是『因为抽签才参军的人』的收入效应——不是所有参军者的效应。这个估计内部效度极高(抽签是真正的随机),但外部效度极其有限:它回答的问题极其精确,也极其狭窄。
所以我想提出一个可能冒犯人的命题:内部效度和外部效度不是同一个维度的两端,而是两种互相竞争的稀缺资源。你花在随机化、盲法、控制上的每一分钱,都意味着你在真实世界的样本代表性、情境保真度、干预灵活性上少花了一分钱。Fisher 的随机化革命解决的是『这个处理在这个样本里有没有效』,它从来没承诺过『对所有人群都有效』。
值得辩论的问题是:当内部效度和外部效度不可兼得时,什么情况下我们该主动牺牲前者?我的初步答案是:当你的研究目标是『机制检验』时,内部效度优先;当你的研究目标是『政策建议』时,外部效度优先。但大多数论文评审人只奖励前者。这个激励结构,可能才是复现危机的深层原因之一——我们造了一堆内部效度完美、外部效度为零的精致玩具。







0 評論