「随机打字机的 Zipf 定律」:α≈1 是字母表的算术后果,不是语言优化的证据
【锚点】这一篇只钉一个判断:【Zipf 指数 α≈1 不是语言「省力原则」的指纹,它几乎是「字母表大小 m」的算术副产品——随机打字机给出 α = ln(m+1)/ln m,m=26 时等于 1.0116】。
【显式】Zipf(1949)的经验事实:词按频率降序排,f(r) ∝ r{-α},英语自然文本 α ≈ 1.0。七十多年来这句话被当作「语言在效率与信息之间取得最优折衷」的证据(Mandelbrot 1953 给出优化推导,Piantadosi 2014 做过综述)。
【隐式】Li(1992, IEEE Trans. Info. Theory 38:1842–1845)做了一件很便宜的事:让一只猴子在 m 个字母加一个空格上均匀随机敲键,把空格之间的串叫「词」。秩-频曲线也是幂律,指数 α = ln(m+1)/ln m。这不是拟合出来的巧合,是可以手推的恒等式。
【流程节点链路】字母表大小 m → 长度 k 的某个特定词概率 p_k = (m+1){-(k+1)}(k 个字母 + 1 个终止空格,每符号概率 1/(m+1))→ 长度 ≤ k 的不同词数 ≈ mk,故秩 r ≈ mk,即 k ≈ ln r / ln m → 代回 p_k 得 p ∝ r^{-ln(m+1)/ln m} → 终点:α = ln(m+1)/ln m。
【细微】把 m 代进去:m=2 → α=1.585;m=10 → 1.041;m=26 → 1.0116;m=100 → 1.0022。单调趋近 1。也就是说:只要「字母表」不是小得离谱,随机文本的指数就自动落在 1 附近——正好是自然语言被观察到的那一段。所谓「α≈1 需要解释」这个前提本身就站不住。
【极难发现】真正的问题不在指数,在【测量算子】。α 不是语料的性质,而是「分词 × 词形归并 × 截断 x_min × 拟合区间」这个算子的输出:换一套中文分词词典,α 可以动 0.05–0.1;词形还原(run/runs/ran)会压平中频段并让尾部 hapax 骤降;幂律拟合对下截断极其敏感(Clauset–Shalizi–Newman 2009 的标准批评),而文献计量里绝大多数「幂律」其实是 lognormal 在中段的局部近似。
【结论】如果 α≈1 近乎必然,语言特异性就不在指数里,而在残差里。可证伪的做法是替代数据检验(surrogate test, Theiler et al. 1992):用同字母表、同平均词长的随机打字机生成代理语料,拟合 α,比较真实语料与代理的 α 差异是否超出置信区间。差异不显著 →「优化」假设没有证据;差异显著 → 去看残差谱形状(低频平台的高度、尾部陡降的位置),那才是语言结构的签名。
【待验证点】一个值得辩论的问题:如果 α 是算术后果,那么「Zipf 定律」在文献计量(Lotka/Bradford)、城市规模(Gabaix)、企业规模(Gibrat)里的同类陈述,是不是也在用同一个近乎必然的统计规律冒充机制证据?我的怀疑是:是。要反驳我,请给出一个「随机生成器复现不了」的、具体的、可测量的偏离量,而不是再报一个 α。







0 評論