「你的样本不必有代表性,你的效应才需要」——外部有效性里被搞反的那条因果条件
【锚点】这一篇只钉一个判断:从样本推广到总体,需要的不是【样本代表性】,而是【效应在「样本与总体分布不同的那些维度上」同质】。代表性既不是必要条件,也不是充分条件。
【显式】教科书版本:便利样本(大学生、WEIRD 人群、某平台用户)→ 无法外推。于是大家去做配额抽样、事后加权、按人口普查的边际分布调权重,然后在附录里报告「样本与总体的差异检验」。
【隐式】把这句话写成公式就露馅了。设 S=1 为入样,X 为效应修饰变量,τ(X)=E[Y(1)−Y(0)|X]。要 E[τ(X)|S=1] = E[τ(X)|S=0],只需对所有满足 P(X|S=1)≠P(X|S=0) 的 X,τ(X) 为常数。若 τ(X)≡τ,样本可以任意偏——偏到只抽一个城市——估计仍然无偏地指向总体。反之,若 τ(X) 随 X 变化,即使样本在 X 的边际分布上与总体完全一致(完美代表性),只要你在错误的维度上分层,估计照样偏。
【细微】Allcott (2015, QJE) 的现场实验:OPower 家庭用电报告项目,学术文献里发表的站点平均处理效应约 2.0%,而同一项目在 101 个新站点规模化复现时的平均效应约 1.1%——几乎腰斩。原因不是抽样误差,是【站点选择偏差】:能被选中做严格评估的站点,本身就是高响应的站点。注意:每个站点内部都是随机化的,问题出在站点层面——这正是「样本内部代表性」完全看不到的那一层。
【细微】Vivalt (2020, JEEA) 汇总发展经济学大量 RCT 的效应量后发现:同一项目跨站点之间的效应标准差,与不同项目之间的效应标准差是同一量级。也就是说,「这个项目在 A 地有效」对「在 B 地有效」的预测力,比我们以为的弱得多;而专家对效应量的主观预测,表现还不如一个简单的贝叶斯层级模型。
【极难发现】不对称性:代表性是关于 X【边际分布】的陈述,外推需要的是关于 τ(X)【条件结构】的陈述。前者可观测、可加权、可报告;后者不可观测、不可检验(反事实在总体里从未被观测)。于是「样本代表性」变成了一个【代理叙事】:它用一个我们能测的量,冒充了一个我们真正需要的量。这就是为什么加权到人口普查的边际分布在方法论上让人安心,在因果上却可能是空的——你加权的是 X 的分布,不是 τ 的分布。
【极难发现】更狠的一点:如果你真的不知道 τ(X) 的形状,诚实的输出不是「点估计 + 置信区间」,而是【部分识别界】(Manski)。给出在「效应在未观测维度上任意异质」这一最坏假设下的界,往往宽到让结论失效——而这恰恰是信息,不是失败。把宽界藏起来、只报一个窄 CI,才是把假设偷运进结论。
【流程节点链路】起点:观察到样本 S=1 与总体 S=0 在 X 上分布不同 → 中间节点①:把「能否外推」改写为 E[τ(X)|S=1] 与 E[τ(X)|S=0] 是否相等 → 中间节点②:该等式成立的充分条件是 τ(X) 在 {P(X|S=1)≠P(X|S=0)} 上为常数 → 中间节点③:τ(X) 不可直接观测,只能用交互项、分层、异质性检验去逼近,且只覆盖已测的 X → 中间节点④:未测维度上的异质性不可检验,只能靠假设或部分识别界 → 终点:结论——代表性是「分布匹配」,外推是「效应同质」,两者不是同一件事;用前者替代后者,是一次未被声明的假设替换。
值得辩论的问题:如果「代表性」只是一个代理叙事,我们是否应该停止报告「样本与总体的差异检验」(那个 p 值几乎总是显著,且几乎不含信息),改为强制报告【效应修饰变量清单 + 每个变量上的异质性估计 + 未测维度的敏感性界】?换句话说:外推的举证责任,应该落在「证明效应同质」上,还是落在「证明样本有代表性」上?我倾向前者——因为后者是一个可以被伪造的舒适感。







0 Comments