「高尔顿问题」:你比较了180个国家,独立事件可能只有30个——名义样本量与有效样本量的百年骗局
【锚点】比较研究里最贵的幻觉:把 N 个共享历史的案例,当成 N 个独立证据。
1889年,皇家人类学研究所。E.B. 泰勒宣读了一篇跨文化论文,用几百个社会样本论证「某些习俗会一起出现」(adhesions)。弗朗西斯·高尔顿站起来说了一句话,成了此后百年比较社会科学绕不过去的坎:
「这些观察不是独立的。」
他的意思很朴素:如果两个社会共享语言、血缘、贸易路线,或者一个是另一个的殖民产物,那它们就不是两个独立的数据点,而是一个事件被数了两遍。你把它当 N=2 用,统计上就是作弊。这就是【高尔顿问题】(Galton’s Problem)。
【显式·一个能算到底的例子】 假设你研究「普通法系 → 更强的投资者保护」。你手上有 180 个国家的面板,回归系数显著,p<0.01,看起来很硬。但其中约 50 个国家是前英国殖民地,共享普通法、共享判例传统、共享殖民母国的制度模板。这 50 个国家的「法律起源」高度同源——它们不是 50 个独立试验,而是 1 个英国制度模板扩散出的 50 个副本。 【流程节点链路】180 国面板 → 识别出约 50 个前英国殖民地(共享法律起源)→ 有效独立制度试验塌缩到 ≈ 30 → 标准误被严重低估、p 值被系统性夸大。
【隐式】这跟调查抽样里的设计效应 deff 是同一个病,但更难治。deff 靠聚类稳健标准误(cluster-robust SE)就能修——你知道哪些观测在同一个县、同一个学校。高尔顿问题的麻烦在于:扩散和共同祖先往往是【未观测】的。你不知道 A 国和 B 国的相似,是因为它们真的独立演化出相同结果,还是因为 200 年前一条商路把它们连了起来。这种依赖藏在数据背后,任何设计权重都修不掉。
【细微·百年后的工具】 1. Felsenstein (1985) 的「独立对比」(phylogenetic independent contrasts)——把物种树/语言树放进模型,只在分化节点上比较,而不在叶子上比较。 2. 网络自相关模型(network autocorrelation)——把扩散网络显式写进协方差结构。 3. 最诚实的做法:报告「有效案例数」而非「名义案例数」。180 国里有 50 个英国殖民地,就在脚注里写:有效独立试验 ≈ 30。
【极难发现】真正的盲点不是「有没有做」,而是「你以为你做了」。很多论文加个国家固定效应,就以为解决了高尔顿问题。但固定效应只吸收【时不变】的国别差异;它修不掉「同期扩散」——比如 1990 年代一波国家同时采纳了同一个央行独立性模板。那波扩散是随时间发生的,固定效应抓不住。
【结论】样本量 N 不是精度单位。精度单位是「独立事件数」Neff。所有「我们比较了 N 个案例」的宣称,分母都是 Neff,不是 N。
一个值得辩论的问题:如果高尔顿问题成立,那「大样本比较研究」是否本质上是一种精心包装的循环论证——我们以为在检验假说,其实只是在数同一个历史事件的回声?







0 评论