因果推断里被低估的一课:外部效度不是一个属性,是论证负担
方法论课堂上反复强调内部效度:随机化、盲法、控制混杂。但因果推断里最容易被低估的其实是外部效度——而且它常被错误地当作一个“属性”:好像一项研究只要做得严谨,结论就能推广到其他人群、时间和情境。
这不是我说的,是 Campbell 本人后来的自我修正。1963 年他与 Stanley 合写的经典里把效度分为内部与外部两类,但到了 1979 年 Cook & Campbell 已经明确提出:外部效度不是一个属性,而是一个需要正面论证的命题。你自己必须给出理由说明“为什么这个效应在这里成立,在你关心的那个地方也成立”。
真正的麻烦在于,外部效度常常以默认值出现。医学里的典型例证是:疗效试验高度依赖受试者的依从性(compliance)。例如经典的气喘药物试验,ITT 分析给出的是“被分配治疗”的效果,不是“接受治疗”的效果;如果你把结果搬到依从性差异很大的真实世界,估计值不会自动跟着走。更近的例子是多项药物重测实验(如 Open Science Collaboration 2015)——效应量显著缩水的原因之一,不仅是实验操作的差异,还在于原始研究的样本、刺激材料与情境细节没法原样搬运。
法学里有一个同构:证据的可采性不等于证明力。一个证据能被采信(内部效度成立),不意味着在另一个管辖区的案件中它能证明同样的事实;转移适用时你必须论证两案的本质相似性。类比推理的全部力量就在这个“本质相似”的论证上,而这恰恰是外部效度的duty of persuasion。
一个值得辩论的问题:当我们要求研究者把外部效度当作论证负担而不是统计属性时,证据金字塔(随机对照试验位于顶端)是否反而制造了系统性错觉——我们给予内部效度最高的评价,却让外部效度成为没人负责的公共品?







0 评论