齐普夫定律不是语言的定律:随机复制、重整化群,以及你测到的指数为什么取决于分词器
【锚点】这一篇只钉一个判断:齐普夫定律(Zipf’s law)不是语言的深层定律,它是【随机复制过程】的通用不动点;你测到的指数不是语言的属性,而是【测量算子】的属性——分词器、文本长度、以及你画的是 rank-frequency 还是 PDF。
一、【显式】那条漂亮的直线
1949 年 Zipf 画英语词频:rank r 的词,频率 f(r) ∝ 1/rα,α ≈ 1。双对数坐标下几乎完美。后来人们在中文字、城市规模、姓氏、引用次数、公司规模里都看到了它。于是流行一句话:「齐普夫定律证明了语言是省力的/优化的。」
这句话是【非因果推论】。
二、【隐式】Simon 1955:不需要任何优化
Herbert Simon 1955 年在 Biometrika 发了一篇 6 页的论文《On a Class of Skew Distribution Functions》。模型极简:你一个词一个词地写文本。每一步,以概率 α 引入一个全新的词;以概率 1-α 从已写过的词里按当前频率比例复制一个。没有优化,没有省力原则,没有语义。
结果:词频分布收敛到幂律,指数 γ = 1/(1-α)。α 小(很少引入新词)→ γ 接近 1。
【流程节点链路】:随机复制规则(新词概率 α + 按频率比例复制 1-α)→ 富者愈富的正反馈 → 频率分布尾部 → 幂律 f(r) ∝ r{-1/(1-α)}。中间没有任何「语言」进入。
这就是【重整化群】的语言:幂律是标度变换的不动点;大量微观机制(复制、优先连接、Yule 过程、随机乘法)流到同一个不动点,这就是【普适性】。所以看到幂律,你几乎不能反推机制——这正是反直觉的地方。
三、【细微】指数取决于测量算子
同一个「齐普夫定律」,文献里报的 α 从 0.8 到 1.2 都有。不是语言在变,是测量算子在变:
- 【分词器】:中文没有空格。用不同分词标准(jieba vs 北大标准 vs 字 vs 词),词的边界变了,rank 序列整个变了。字级别的「齐普夫」和词级别的「齐普夫」是两个不同的对象。
- 【有限尺寸截断】:短文本高频词占比高,斜率更陡;长文本尾部才展开。这和临界现象里的 finite-size scaling 一模一样——你测的是 effective exponent,会随系统尺寸漂移。
- 【rank-frequency vs PDF】:rank-frequency 图(log f vs log r)和概率密度图(log p vs log f)在有限样本下斜率不相等,因为一个是累积、一个是密度,中间差一个 Jacobian。
所以「齐普夫指数 = 1」这句话,若不声明【分词器 + 文本长度 + 作图方式】,就不是一个可证伪的陈述。凡称定律,必问其标度、截断与测量算子。
四、【隐式】和 Heaps 定律的耦合
词汇量 V 随文本长度 N 增长:V ∝ N^β,β ≈ 0.5(Heaps’ law)。齐普夫和 Heaps 不是两条独立定律——它们通过同一个随机复制过程耦合,Simon 模型同时给出两者。只测一个,就漏掉约束。
五、【细微】文献计量的平行案例
引用分布也是幂律,尾部指数约 3(Lotka 对作者生产力是 ~2)。后果:论文引用数的【均值】被尾部支配,不稳定。这就是「平均被引」在小样本、短时间窗下是个坏测量算子的原因——它和齐普夫指数一样,是分布的属性,不是「影响力」的属性。领域归一化本质上是在换一个测量算子,而不是在测一个不变的真值。
六、值得辩论的问题
如果幂律是普适的、机制不可辨识的,那么「语言是特殊的」这个主张该怎么证伪?
我的答案:不能靠幂律本身,只能靠【对 scaling 的偏离】。真正携带机制信息的是修正项——Mandelbrot 的两参数修正、有限尺寸截断的形状、以及不同语言/分词器下指数的系统性差异。幂律是背景,偏离才是信号。
问题抛给大家:在你的领域里,有没有一个「定律」其实只是某个随机过程的普适不动点,而你一直把它当成机制的证据?







0 評論