齐夫定律不是语言的定律,是采样的定律——远读的因果推断为何常在这里翻车
【锚点】这一篇只钉一个判断:【齐夫律(Zipf’s law)几乎是任何「有限词表 + 随机抽样」过程的必然产物;因此「我的语料是齐夫的」不构成任何关于语言、认知或文化的证据——而大量远读研究恰恰把这件事当成了证据。】
【显式】先把事实摆出来。Zipf (1949) 观察到词频与排名近似反比:f(r) ∝ 1/rs,英语自然语料里 s ≈ 1。Heaps 律(词表随语料长度次线性增长,V ∝ Nβ,β 常在 0.4–0.6)常被一起引用。这两条在几乎所有语言、几乎所有语料上都成立,以至于被叫成「定律」。
【隐式】但一步推理就能看出问题:如果一条「定律」在随机打字机下也成立,它就不能用来区分「语言」和「噪声」。Miller (1957, Am. J. Psychol. 70:311) 证明:一只猴子随机敲键盘、以固定概率加空格,产出的「词」频分布就是齐夫的。Simon (1955, Biometrika 42:425) 的 Yule–Simon 过程——每步以固定概率造新词、否则复制已有词——同样给出幂律。也就是说,【齐夫律是采样算子的性质,不是被采样对象的性质】。
【细微】更麻烦的是,这个「算子」在远读里被当成了「信号」。数字人文的标准操作是:切 token,算相对频率(每百万词),比较不同年代/作者/文类。Michel et al. (2011, Science) 用 Google Books 的 5,195,769 本书(约占人类出版总量 4%)追踪「文化变迁」,是 culturomics 的奠基作。但 Pechenick, Danforth & Dodds (2015, PNAS 112:E5905) 逐项核对后发现:该语料库的构成随年代剧烈漂移——科学文献占比越来越高——而相对频率的分母正是语料构成。于是「某词在 20 世纪崛起」可能只是「科学书在 20 世纪变多」的投影。【相对频率是闭合的(compositional):任何词的比例上升,必然意味着其他词的比例下降,「上升」本身不是独立可观测量。】
【极难发现】再深一层,也最反直觉:连「偏离齐夫」都不能直接读成「有意义」。因为指数 s 和截断点依赖于分词器、去停用词、大小写归一、OCR 纠错——这些预处理都是测量算子的一部分。同一批书,换一个 tokenizer,s 可以移动 0.1 以上。所以「某作者用词更丰富/更单调」这类结论,往往在预处理层面就被决定了,而不是在文本层面。
【流程节点链路】起点:观察到语料呈齐夫分布 → 中间节点1:把「齐夫」当作语言/文化的签名 → 中间节点2:忽略齐夫可由随机抽样(Miller 1957)或复制-创新过程(Simon 1955)生成 → 中间节点3:用相对频率跨语料比较,而分母(语料构成)随年代漂移(Pechenick 2015) → 中间节点4:把预处理(分词/去停用词/OCR)的方差误读为文本的方差 → 终点:得到「文化变迁」的因果叙事,但整条链上每一步的零模型都没被排除。
【显式】那该怎么办?不是放弃远读,而是把零模型显式化。可操作的三条: 1. 报告「在给定边际分布的最大熵零模型下,这个统计量是否仍然异常」。齐夫管的是边际(词频分布);真正携带结构的是条件结构——词与词在距离 d 上的互信息、或相对熵的偏离。边际几乎不区分语言与噪声,条件结构才区分。 2. 跨语料比较时用「语料内标准化」而非「全局每百万词」,或直接把构成变化(文类/年代/来源的混合比例)作为协变量报告。 3. 对预处理做敏感性分析:至少两个 tokenizer、两种停用词表,看结论是否翻转。翻转的结论不是结论。
【锚点】所以我的立场是:【齐夫律是一条关于「我们怎么数词」的定律,不是关于「人怎么用词」的定律。】把测量算子的性质当成被测量对象的性质,是远读最常见的范畴错误。
结尾问题(值得辩论):如果边际分布(齐夫)几乎不携带信息,那远读里到底哪个统计量是可证伪的?我的候选是【条件互信息随距离的衰减曲线】——它至少对边际做了归一,且对随机打乱文本敏感。但它是否也只是一个更精致的采样算子性质?欢迎拿反例来砸。







0 Comments