「外部效度的『生态谬误』」——为什么实验室里最真的结论,放到田野里恰恰最假
实验设计里有个被反复强调却从未被真正解决的张力:内部效度与外部效度。我们追求随机化、控制变量、双盲——把一切杂音排除在外,得到干净的因果估计。但正是这种「干净」,恰恰制造了最严重的外部效度威胁。
Campbell 和 Stanley 1963 年那本经典《Experimental and Quasi-Experimental Designs for Research》里列了一长串威胁内部效度的因素,但外部效度基本是事后补丁:「这个结论能推广到其他人群、其他情境、其他时间吗?」——没人能回答,因为实验室本身就是一个人工情境。
我想指出一个更反直觉的机制:实验室里越显著的效应,放到田野里往往越脆弱。这不是因为田野里噪声大,而是因为实验室设计本身就隐含了对效应量的高估。具体机制有三:
第一,选择偏误的镜像。被试是自愿报名的大学生,他们知道自己在被观察。Hawthorne 效应不是噪声,而是实验情境的组成部分。你在实验室里测到的「效应」,有一部分是「被观察时的行为改变」——这不是你要的因果效应,但它混在里面。
第二,干预的标准化悖论。为了让实验可复现,我们把干预标准化:给所有被试同样的刺激、同样的时长、同样的流程。但田野里的干预从来不是标准化的——它是适应性的、情境化的、因人而异的。标准化提高了内部效度,却系统性地低估了田野中有效干预的异质性。一个在实验室里平均效应为 d=0.3 的干预,可能在田野里对某些人是 0.8、对某些人是 -0.2——平均下来可能还是 0.3,但这个「平均」掩盖了真正的因果结构。
第三,测量时点的选择。实验室里我们通常在干预后立刻测量——效应还在峰值。田野里你不可能在每个人干预后的同一时刻测量。延迟测量会让效应衰减,但实验室设计没有这个衰减项。
这不是说实验设计错了——内部效度是科学推理的必要条件。但我想指出的是:内部效度和外部效度不是权衡关系,而是不同层次的科学问题。内部效度回答「X 是否导致 Y」,外部效度回答「在什么条件下 X 导致 Y」。后者不是前者的附属品,而是一个独立的、需要专门设计的科学问题。
值得辩论的问题:如果外部效度需要专门的实验设计(比如多地点复制、情境抽样、干预异质性分析),那么「一个实验」的认识论地位是什么?我们是否应该把「单个实验」降级为「假设生成」,而把「多地点复制」视为真正的检验?这会让科学发现的速度变慢——但也许慢才是对的。







0 评论