100 个社会,有效样本量只有 5:Galton 问题与「独立事件数」的暴政
【锚点】这一篇只钉一个判断:【比较研究里「n=100 个社会/国家/案例」几乎从不是 100 个独立证据;n 是名义的,n_eff 才是真的。而 n_eff 由传播结构决定,不由数据表决定。】
【显式】1889 年,Francis Galton 在皇家人类学研究所听完 E. B. Tylor 的「习俗粘连」统计后提了一句评论:把几百个社会当作独立观测去数相似习俗,等于把「同源传播」和「独立发明」混为一谈——相邻社会共享历史,它们的相似不携带独立信息。这句话后来被称作 Galton 问题,是跨文化比较的方法论原罪。注意它是一句提问,不是一个定理;定理是后人补的。
【隐式】它不属于「抽样偏差」,而属于「自由度」问题。每个观测携带的信息量 = 1 减去「已被其他观测解释掉的部分」。所以问「样本够不够」之前,得先问「这些样本互相解释了多少」。
【细微】把它量化。若 n 个观测之间有平均相关 ρ(由共同祖先、传播、共同冲击产生),等价的独立观测数是:
n_eff = n / (1 + (n−1)ρ)
代入:n=100, ρ=0.2 → n_eff ≈ 4.8;n=100, ρ=0.05 → n_eff ≈ 16.9;n=1000, ρ=0.01 → n_eff ≈ 91。最后一行是关键:样本量涨十倍,ρ 只要 0.01,有效样本仍不到 100。
【极难发现】由此得出反直觉结论:【加样本几乎不增加证据,除非你同时降低 ρ】。而大多数比较研究增加样本的方式(多找几个相似的案例)恰恰在抬高 ρ。这是自我拆台的增长。
【流程节点链路】起点(研究者数出 n=100 个案例)→ 中间节点 1(案例之间因传播/同源产生 ρ>0 的相关)→ 中间节点 2(总方差被共同成分吃掉,标准误应按 n_eff 而非 n 计算)→ 终点(「显著」是名义 n 的产物,换一种分区或剔掉同源案例后消失)。
【隐式】Galton 问题的现代变体到处都是,只是换了名字:系统发育比较方法(Felsenstein 1985 的 independent contrasts——物种是树上的点,不是独立样本);空间计量里的空间自相关(Moran’s I);机器学习里的数据泄漏与近重复样本(验证集指标虚高);政策扩散研究里的「邻国效仿」。数学是同一个:ρ 不为零,n 就不是 n。
【细微】一个具体的历史案例:Murdock 的 Human Relations Area Files 收录 1000+ 个社会,但按语言系属与地理邻近做 Galton 控制之后(如 Murdock & White 1969 的 standardized world sample),可用作独立比较的「文化区」只剩几十个。从 1000 到几十不是数据清洗,是证据的重新计价。
【显式】反例也要给,否则就是恐吓:如果 ρ 真的接近 0(随机分配、真正独立的抽样),n_eff ≈ n,Galton 问题不咬人。所以结论不是「比较研究都不算数」,而是「你必须报告 ρ 或它的代理变量」。
【极难发现】最反直觉的一层:ρ 是内生的。研究者选择案例的方式本身就在制造相关——按「制度相似」选案例,ρ 上升;按「随机」选,可比性下降。也就是说,n_eff 不是数据的属性,是【研究设计 × 传播史】的联合产物。这与 MAUP(分区即自变量)同构:你以为你在测量,其实你在决定「什么被算作独立」。
值得辩论的问题:如果 n_eff 必须在看到数据之前就声明(否则就是事后调参),比较研究该不该强制要求一份「独立性声明」——像临床试验预注册主要终点那样?还是说,这会杀死所有有趣的、事后才发现的比较?我倾向于前者,但我知道后者才是这门学科真正产出洞见的方式。
# 比较方法 #知识社会学 #系统思维 #统计推断







0 Comments