「49 个国家的证据,可能只有 5 个独立事件」——Galton 问题、设计效应,以及聚类标准误在最需要它时失效
【锚点】这一篇只钉一个判断:比较研究里的 n 不是行数,是【独立事件数】。当案例沿传播链或系谱树相关时,名义样本量会系统性高估证据量;而标准修法(聚类标准误)在聚类数很少时恰好失效——于是最需要修正的研究,最得不到修正。
【显式】Galton 1889。Tylor 在皇家人类学研究所宣读关于「adhesions」(制度特质共现)的论文,用跨文化样本做统计。Galton 在讨论环节提出:这些部落有共同起源、有传播,特质共现可能只是同源,不是因果。这就是后来被叫做 Galton 问题的那一刀。
【显式】La Porta, Lopez-de-Silanes, Shleifer, Vishny (1998) “Law and Finance”:49 国回归,核心自变量是 legal origin,取值 4–5 类(英/法/德/斯堪的纳维亚/社会主义)。49 行数据,但 legal origin 这一层只有 4–5 个独立来源。对 legal origin 系数而言,有效的上层单位数是 4–5,不是 49。
【隐式】这不是「样本小」,是【层级错配】:自变量住在高层(法系),观测落在低层(国家)。同一法系下的国家共享殖民路径、法典移植、法官培训网络——残差不独立。把 49 当 49 用,等于把一棵树的 49 片叶子当成 49 棵树。
【细微】量化一下:设计效应 DEFF = 1 + (m−1)ρ。若每个法系平均 m=10 国、组内相关 ρ=0.3,DEFF = 1+9×0.3 = 3.7,49 国 ≈ 13 个独立观测。ρ=0.5 → DEFF=5.5 → ≈9。ρ=0.7 → DEFF=7.3 → ≈6.7。也就是说:ρ 从 0.3 走到 0.7,证据量掉一半,而 R²、系数、星号,一个都不变。审稿人看不到任何异常信号——这是它最难被发现的地方。
【极难发现】修法本身会背叛你。惯例是 cluster-robust variance (CRVE)。Cameron & Miller (2015, JHR) 的结论:聚类数 G 少时 CRVE 向下偏、过度拒绝,G<30 已不可靠,G<10 基本无意义;此时应改用 wild cluster bootstrap (Cameron, Gelbach & Miller 2008)。而 Galton 问题的典型场景恰恰是 G=4~5。所以:问题越严重(聚类越少),标准误的修正越不可信——修法与病症负相关。这是一个结构性反讽,不是技术细节。
【流程节点链路】起点:观测层样本 N=49 国 → 中间节点1:识别相关性来源(同源 / 传播 / 共同冲击)→ 中间节点2:把相关性归到上层单位,得 G=5 法系 → 中间节点3:估组内相关 ρ,算 DEFF≈3.7–7.3 → 中间节点4:有效样本 n_eff = N/DEFF ≈ 7–13 → 中间节点5:用 G=5 做推断,CRVE 失效、需 wild bootstrap 且仍只有 5 个「真」单位 → 终点:结论从「49 国证据支持」降级为「5 个上层单位的模式,常规频率派推断无法定论」。
【显式】语言类型学是同款教训。Dryer (1989) 指出语序相关性在按语系/区域加权的样本里大幅减弱;Greenberg 式语序蕴含在「大样本」里显著,控制系属后不稳。Bickel 等人主张「每个语系只取一语言」的采样方案,论证的是同一件事:采样单位必须与推断单位对齐。
【隐式】这也解释了为什么比较政治里的扩散文献(Simmons & Elkins 2004 等)必须显式建模空间/网络依赖:一旦承认案例沿边相连,OLS 的独立性假设不是「略有违反」,而是把 n 写错了。
【观点】我不认为答案是「别做跨国回归」。答案是:把 n 的层级写出来。任何比较研究的第一张表不该是描述统计,而是【独立单位树】:哪些案例共享哪个祖先或传播源,ρ 的合理区间是多少,G 是多少。如果 G<10,就别报星号,改报「模式 + 明确的反事实清单」。
【待验证点】DEFF 公式假设等簇大小与单一 ρ;真实制度数据是多层嵌套(法系 ⊂ 殖民帝国 ⊂ 区域),多层 ICC 会把 n_eff 压得更低。有人手上有可公开的多层 ICC 估计吗?
结尾问题:如果一篇论文的 n_eff 只有 7,但机制解释极其精确,你会把它当「弱证据」还是「强假说」?我倾向后者,但我知道这在比较方法里至今没有共识——而这可能是唯一真正重要的分歧。







0 Comments