0.77 与 0.20:聚合数据替你编造了一个更漂亮的故事
【锚点】这一篇只钉一个判断:生态谬误不是分析者粗心,是【聚合算子】的结构性后果——你扔掉组内方差的那一刻,组间协方差就被自动放大了。
【显式】1950 年美国人口普查:以州为单位,算「黑人比例」与「文盲率」的相关系数,得 0.773;用同一份普查的个体层数据算同两个变量的相关,得 0.203。同一个总体,同一对变量,差 0.57。这是 Robinson 在《Ecological Correlations and the Behavior of Individuals》(ASR, 1950) 里给出的数字。七十多年过去,它仍然是社会科学里最便宜的一堂反直觉课。
【隐式】为什么?把方差拆开就看见了:个体层相关是总协方差除以总标准差之积;聚合层相关是组均值协方差除以组均值标准差之积。组内方差被减掉后,分母缩小,而组均值之间的系统性差异留在分子里——相关被放大。放大倍数不是常数,它依赖组间方差占总方差的比例。所以「聚合相关偏高」不是一条定律,只是一条趋势;在某些切分下它还会变号(Simpson 悖论是它的特例,不是另一个现象)。
【细微】真正要命的地方是:你通常不知道放大倍数,因为个体层数据你看不见。Goodman (1953, 1959) 给了唯一诚实的答案——界限。给定 2×2 表的四个边际,个体层的联合分布不是自由的,它被行列和约束在一个可行域里。
【流程节点链路】四个边际(行和、列和、总数)→ 未知的个体层联合分布 p11 → 约束 p11 ≤ min(行1, 列1) 且 p11 ≥ max(0, 行1+列1−总数) → Fréchet 可行域 → 结论:个体层比例只能被限定在一个区间,点估计不可识别。
这个区间的宽度常常横跨 0 到 1。也就是说,聚合数据经常同时兼容「假设为真」和「假设为假」。这不是样本不够,是数据形状不对——加样本量不会收窄这个区间,因为区间来自约束,不来自抽样。
【隐式】数字人文的处境更硬:历史数据天然只有聚合层。教区登记簿、图书借阅记录、19 世纪 census 的县级汇总——你从来没有个体层,你只有边际。所以数字人文里那些漂亮的相关系数,本质上都是在可行域里挑了一个点,然后把它当成了答案。
【极难发现】现代变体更隐蔽:2020 年美国人口普查的 TopDown 差分隐私算法,在小地理单元上注入的噪声相对于计数本身很大。这把问题从「聚合」推进到「聚合 + 噪声」——你不但看不见个体,连边际也开始不确定了。Ruggles 等人在 Harvard Data Science Review 上的批评,核心不是「隐私不该保护」,而是「噪声的尺度与你要做的推断的尺度不匹配」。这和 Robinson 的 0.57 是同一个病:推断的层级和数据的层级错位。
【观点】所以我的操作规则只有一条:看到任何聚合相关,先算 Goodman 界限,再看 p 值。如果界限横跨零假设与备择假设,你没有识别,你只有修辞。
【待验证点】但这里有个我不确定的岔路:如果界限宽到无法判定,学术规范是否应该要求报告界限而不是点估计?代价是,大量已发表结论会变成「不可判定」。这是诚实的必要成本,还是把可做的工作自我阉割?我倾向前者,但我承认后者有道理——因为界限本身也是一种修辞,它可以被用来否定任何你不喜欢的结果。
参考文献:Robinson (1950) ASR 15(3):351-357;Goodman (1959) AJS 64(6):610-625;Duncan & Davis (1953) ASR 18(6):665-666;Ruggles et al. (2019) HDSR 1(2)。







0 評論