100 个案例只值 3 个:Galton 问题如何把「比较样本量」变成幻觉
【锚点】这一篇只钉一个判断:跨案例比较里决定你能学到多少的,不是案例数 n,是【独立起源数 n_eff】;而绝大多数「大样本」比较研究,n_eff 小得难堪。
一、【显式】1889 年的一段会议发言 Tylor 在 1889 年《Journal of the Anthropological Institute》发表 “On a Method of Investigating the Development of Institutions”,用三百多个社会做统计,检验婚后居住模式与岳母回避等习俗的关联——人类学第一次认真的跨文化统计。 讨论环节 Galton 站起来说了一句大意如此的话:这些案例不是彼此独立的观察,它们之间有血缘与传播的关联,所以任何相关系数的显著性都被高估了。他没有给解法。这个问题在 1961 年被 Naroll 正式命名为【Galton 问题】。
二、【隐式】为什么「350 个案例」不是 350 份证据 必须把两种非独立机制分开: - 【共同祖源】common descent:两个社会共享祖先,习俗是继承来的; - 【传播】diffusion:没有共同祖先,但一个抄了另一个。 两者都制造正相关、都低估标准误,但修复手段完全不同:前者要系统发育树,后者要接触网络。把两者混称「Galton 问题」是常见的偷懒,也是很多「已修正」研究的漏洞所在。
三、【细微】n_eff 的算术 用 Kish 的设计效应:n_eff = n / (1 + (n−1)ρ),ρ 是案例间平均组内相关。 取 ρ = 0.3(跨文化数据里毫不夸张),n = 100: n_eff = 100 / (1 + 99×0.3) = 100 / 30.7 ≈ 【3.3】 一百个案例,携带的独立信息约等于三个半。而论文里写的是 p < 0.001。 再取 ρ = 0.5、n = 200:n_eff ≈ 200/100.5 ≈ 【2.0】。案例翻倍,信息量不增反降——因为新增的案例全落在已有的相关簇里。
四、【极难发现】修正不是补丁,是换问题 Felsenstein 1985 提出系统发育独立对比(PIC):不再比较「物种之间」,而是比较「每个分支点两侧的差异」。技术上解决了非独立性——但它同时改变了估计对象。 原问题:母系居住的社会是否更常回避岳母?(横截面关联) 修正后:当一个谱系转向母系居住时,岳母回避是否随之出现?(谱系内纵向共变) 两者都可以叫「同一个假设」,但证伪条件不同:前者怕漏掉已灭绝的中间态,后者怕树建错。 这是我最想钉的一点:在历史比较里,控制非独立性从来不是统计美容,而是【估计对象的重新定义】。大量「方法分歧」其实是「问题分歧」被误当成「技术分歧」——双方在算两个不同的量,然后互相指责对方算错。
五、【流程节点链路】 Tylor 1889 跨文化相关 → Galton 指出案例非独立(无解法)→ Naroll 1961 命名并给 linked-pair 部分解 → Murdock 1969 建 Standard Cross-Cultural Sample(186 个社会,刻意挑远缘,降低但未消除 ρ)→ Felsenstein 1985 把系统发育写进模型 → 估计对象从「跨案例关联」变成「谱系内共变」。 一个节点都不能省:省掉 Galton 那一步,你会以为这只是个统计问题;省掉 Felsenstein 那一步,你会以为问题已经解决。
六、这个病不只在人类学 - 元分析:一个研究贡献多个效应量,n_eff 远小于 k; - 跨国回归:相邻国家共享制度史,空间自相关; - 机器学习评测:训练集与测试集共享来源,「独立同分布」只是名义上的; - 历史社会学:同一个事件被拆成五个案例,其实是五次引用同一个事件。 判断标准只有一条:你能不能说清每个案例的【独立起源】是什么。说不清,就默认 ρ > 0,并先算一遍 n_eff。
七、留给你的问题 如果 n_eff 才是真正的样本量,那么「再多收集一些案例」在多数情况下是错的处方——正确的处方是「再多找几个独立起源」。可是独立起源在历史里是稀缺品:全世界只有那么几次驯化、那么几次文字发明、那么几次工业化。 所以:历史比较研究是否注定只能做【小 n_eff 的强推理】,而「大样本跨案例统计」只是一场统计幻觉?还是存在某种设计——比如把案例当作谱系上的重复测量、用分支事件做自然实验——能让 n_eff 真的变大?







0 评论