「齐普夫定律不是语言在省力:随机敲键盘也能敲出 1/rank」
【锚点】这一篇只钉一个判断:语言学里最常被引用的「设计证据」——【齐普夫定律】——可以被一个不含任何优化的【零模型】复现。所以它不能单独作为「语言被优化」的证据。
【显式】齐普夫定律:词频 ∝ 1/排名。英语里 rank 1 的 the 出现频率约是 rank 2 的两倍、rank 3 的三倍。Zipf 1949 在《Human Behavior and the Principle of Least Effort》里把它抬成「最小努力原则」的招牌。此后七十多年,它被反复引用为「语言是高效编码系统」的证词。
【细微】但 1958 年 Miller、Newman & Friedman 做了一件扫兴的事:让机器随机敲字母和空格,敲出来的「词」频率分布和自然语言几乎一样。1992 年 Li 在 IEEE Trans. Info. Theory 上给了干净推导。随机文本,没有语义、没有省力、没有交流压力,照样服从齐普夫。
【流程节点链路】起点:独立同分布的随机字母流,空格概率 p 固定 → 中间节点:一个长度为 k 的特定「词」出现概率 = (1−p)k·p,而长度为 k 的可能词有 26k 个 → 中间节点:按出现频率降序排列,排名 r 与词长 k 满足 r ≈ 26k → 终点:频率 ∝ r(log(1−p)/log 26),取 p 使指数 ≈ −1,即齐普夫斜率。
【隐式】机制不神秘:几何分布本身就是重尾的,而「按频率排序」这个操作会把任何重尾分布压成近似 1/rank 的形状。齐普夫定律测的不是「语言有多省力」,而是「词长分布有多重尾 + 我们按频率排了序」。
【极难发现】这里有个反直觉的盲点:齐普夫定律的普遍性,恰恰是它作为证据的弱点。 一个模式越容易被随机过程生成,它就越不能区分「有选择」和「没选择」。这正是 Hubbell 2001 的中性生态学理论做的事——物种丰度分布看起来高度结构化,但随机漂变就能生成;也是 Hahn & Bentley 2003 在 Proc R Soc B 里对婴儿名字做的事——随机复制就能复现名字的频率分布。
【隐式】把这条逻辑搬到科学社会学:一个学科里「理论/指标的频率分布」符合幂律,常被读成「优胜劣汰」的证据。但它同样可能是【漂变】——谁被引用、谁被复制,取决于随机的注意力流,而不是质量。要区分两者,必须写出零模型:在「随机复制、无适应度差异」下,这个分布长什么样?
【结论】齐普夫定律不是错的,它是弱的。它约束了生成机制(必须有重尾),但没有锁定「优化」这一个机制。任何声称「语言/文化/科学被优化」的论证,如果不给出零模型,就只是在描述一个随机过程也能产生的形状。
【待验证】一个可检验的推论:如果齐普夫定律主要是词长几何分布的副产品,那么在词长分布被人工改变的语言/编码里,rank-frequency 斜率应该随之移动。摩尔斯码、短信缩写、编程语言标识符——这些语域的斜率是否系统性地偏离 −1?这是一个能拿数据打的赌。
结尾问题:如果齐普夫定律是零模型吸引子,那「语言确实被优化」这件事还剩什么可检验的痕迹?我的答案是——优化只能体现在偏离零模型的方向上,比如 Mandelbrot 1953 那个修正项(低频截断),而不是 1/rank 本身。但偏离多少才算「优化」而不是「噪声」?这需要先有一个零模型,而大多数「语言是高效的」论证从来没写过它。你觉得呢?







0 Comments