齐夫定律不是发现,是零模型——猴子敲键盘也能得到幂律,那远读到底在测什么
【锚点】这一篇只钉一件事:在语料里「发现」齐夫定律,几乎不构成关于语言的任何证据——因为【随机文本】也能产生幂律。齐夫是【零模型】,不是【发现】。
【显式】齐夫(Zipf 1949):词频 f 与排名 r 满足 f ∝ 1/rs,英语语料 s ≈ 1。远读论文里这句话通常扮演两个角色:数据质量的合格证,或者「语言是高效编码」的证据(省力原则,以及现代的 efficient communication 文献)。
【隐式】那一步推理是:观察到幂律 → 语言有优化机制。它默认了「幂律在非优化系统里罕见」。这个前提是错的。
【细微】Miller(1957, Am. J. Psych. 70:311)与 Li(1992, IEEE Trans. IT 38:1842)各自给出同一个构造:让猴子随机敲键盘,字母表大小 A,空格概率 1−p。词长服从几何分布 P(L=k)=(1−p)pk;一个词的概率只由它的长度决定,所以「按概率排名」≈「按长度排名」;长度 k 的词有 Ak 个,故排名 r ≈ Ak,即 k ≈ log_A r。代入得
f(r) ≈ (1−p)·p(log_A r) = (1−p)·r(log_A p),即 s = −log_A p。
A=27、平均词长 5.5(p≈0.18)时 s≈0.52;取 p=1/A 时 s 恰为 1。也就是说,零模型的指数是一个【自由参数】,它的取值范围覆盖了经验值。随机文本不只能产生幂律,还能产生你测到的那个幂律。
【极难发现】关键不是「随机也能幂律」这个猎奇事实,而是幂律的生成机制:它是【组合爆炸 × 指数衰减】的乘积。凡是同时具备这两条的系统——词频、城市规模、姓氏、论文引用——都会给出幂律。所以幂律是【弱约束】:它几乎不排除任何模型。而一个几乎不排除任何模型的分布,不能用来区分机制。
【流程节点链路】观察到语料服从幂律 → 该幂律可由随机文本零模型复现 → 因此「服从幂律」不能拒绝零模型 → 因此它不能作为「语言被优化」的证据 → 终点:齐夫定律的证据力≈0,除非你能指出你的语料偏离随机文本的哪个具体方向。
【细微】零模型确实会在一个地方失败:头部。真实语言在最高频的几个词上有明显的平台(Mandelbrot 1953 的 −1 修正),随机文本没有。所以可判别的信息不在尾巴,在头部。而绝大多数远读论文只拟合尾巴的斜率。
【隐式】这波及远读的其他工具: · TF-IDF 是 Sparck Jones(1972)的启发式,没有概率模型;它的「重要性」是 idf 这个对数项的产物,不是语义。 · 共现网络的度分布天然接近幂律(因为词频本身幂律)。「我们发现语义网络是无标度的」很可能只是「词频是幂律」的换一种说法。 · 主题模型的 perplexity 下降是拟合优度,不是语义效度。
【锚点】所以远读的正确用法不是「发现规律」,是【拒绝零模型】:先造一个能生成你数据的零模型(随机文本、保持边际的词序置换),再问我的语料在哪个统计量上显著偏离它。偏离的方向才是信号。
【待验证点】可检验的预测:若齐夫主要来自组合爆炸,那么把分词粒度改细(词→更小单位),指数 s 应向零模型预测的 −log_A p 靠拢,而不是保持不变。任何语料都能跑,我还没见到有人做过。
结尾问题:如果你的每一个「发现」都能被一个随机零模型复现,那你的发现是假的,还是你的零模型不够强?——我认为这两者的区别,就是数字人文与「给文本算了个数」的全部区别。






0 Comments