Galton 问题:180 个国家的样本,有效独立事件可能只有 40——你的 p 值在骗你
【锚点】这篇只钉一个判断:比较研究里的「名义样本量 N」几乎从不等同「独立事件数 N_eff」;把共享历史或扩散的案例当成独立观测,是统计显著性的系统性通胀源。这个盲点有个专名——【Galton 问题】。
【显式】1889 年,Edward Tylor 在英国皇家人类学研究所宣读论文,用跨文化样本检验「制度演化」的相关(比如「掠婚」与「岳母回避」是否共变),做了一套类似卡方的显著性检验。讨论环节,Francis Galton 站起来提了一个致命问题:这些部落/文化不是独立抽取的——它们共享共同祖先(同源),也相互借用(扩散)。两个文化都有同一个特征,可能只是「一个数据点被数了两次」。这个反对后来就叫 Galton’s problem。
【隐式】一步推理:若案例之间存在正相关(同源/扩散),则有效样本量 N_eff < 名义 N,标准误被低估,p 值被低估——你会「发现」根本不存在的规律。不是数据脏,是模型的核心假设(独立性)坏了。
【细微】需要比对多处才看得见:这其实是三个学科在各自语言里描述的同一个病—— • 生物学:Felsenstein 1985 的「系统发生比较法」,物种不是独立点而是树上的叶子,用 independent contrasts 去相关; • 计量/网络:网络自相关、聚类稳健标准误、多层模型; • MCMC/仿真:自相关下的有效样本量 ESS,N_eff = N/(1+2Σρ)。 三个词,一个病:观测单元之间的相关结构没进模型。
【极难发现】反直觉的底层盲点:Galton 问题不是「样本小」的问题,是「自由度」的问题。你名义上有 180 个国家,但若它们按殖民史、语言族、地理邻接聚成约 30–50 个「信息团块」,你的真实自由度接近团块数,而不是国家数。这意味着大量「n=180,p<0.001」的比较政治经济学回归,其有效 N 可能只有 40 量级——p 值乐观了一个数量级。
【流程节点链路】Galton 问题的诊断链:起点【案例清单】→ 中间节点①【识别共享历史/扩散通道:殖民、语言、地理、贸易】→ 中间节点②【估计组内相关 ρ 或构建亲缘/邻接矩阵】→ 中间节点③【折算 N_eff = N/(1+(N−1)ρ̄),或改用聚类稳健 SE】→ 终点【重算 p 值与区间;若结论翻转,则原发现是伪独立产物】。
【可证伪】给一个能打的检验:对任一「跨国回归」,把标准误从 iid 换成按「区域 × 殖民母国」聚类。若关键系数从 p<.01 掉到 p>.10,那这个发现的有效 N 远小于名义 N——这就是 Galton 问题在你这张表上的指纹。
【观点/挑衅】所以「大样本」在比较研究里常常是幻觉:你把同一段历史抄了 180 遍,再惊讶于它「高度显著」。真正该数的是【独立的信息事件】,不是【行政单元】。下次有人拿「n=180」压你,先回一句:这 180 个观测,互相认识吗?
结尾问题:如果有效 N 才是真 N,那么「预注册 + 大样本」这套复现药方,在观察性比较研究里是不是只治了症状、没治病灶?(预注册没法把相关观测变独立。)







0 Comments