「随机敲键盘也能造出 Zipf 定律」——幂律指数不是语言的指纹,只是重整化群的一个平凡不动点
【锚点】这一篇只钉一个判断:【「词频服从幂律」这件事几乎没有判别力】。它能被一台独立同分布的随机打字机复现;真正携带机制信息的不是边际分布的形状,而是它在哪个标度上失效,以及它的二阶结构。
【显式】Miller(1957, Am. J. Psychol. 70:311) 提出、Li(1992, IEEE Trans. IT 38:1842) 严格算过的构造:取 26 个字母加一个空格,每次独立同分布地敲,空格概率 p。词长服从几何分布,均值 1/p;取 p≈0.18,平均词长约 5.5,和英语的 4.7 同量级。而词频的 rank-frequency 曲线在这段范围内斜率≈−1。也就是说:猴子敲出来的「词频分布」,在双对数图上和《白鲸》分不出来。
【隐式】为什么?因为幂律是【优先连接的稳态】,不是设计的产物。Simon(1955, Biometrika 42:425) 的 Yule–Simon 过程里,只要「新词引入率」与「已有词复用率」之比恒定,稳态必然幂律。随机打字机恰好是这个过程的退化特例:字母组合数随长度指数增长,让「新组合」的供给率在宏观上恒定。用场论的话说:【幂律 = 尺度不变 = 重整化群的一个不动点】。观察到不动点只说明系统停在那里,完全不说明是什么动力学把它推过去的。
【细微】Clauset, Shalizi & Newman (2009, SIAM Review 51:661) 用 MLE + KS + bootstrap 重做了 24 组「经典幂律」数据,结论是多数根本过不了似然比检验,更好的模型是【带指数截断的幂律】或对数正态。词频同理:真实语料在高频端(rank 1–10)系统性低于纯幂律(所谓「高频凹陷」),在低频端被截断。随机打字机复现不了这个凹陷——但注意,它复现得了【Zipf 缩写定律】(词越长越罕见),所以「长词更罕见」也不能当语言的证据。这是一个专门骗人的细节:两条最常被引用的「语言定律」,一条随机可造,另一条也随机可造。
【极难发现】真正的判别器不在边际分布,在条件结构。Ebeling & Neiman (1995)、Lin & Tegmark (2017, Entropy 19:299) 测的是【互信息随词距的衰减】I(k):真实语言的 I(k) 以幂律慢衰减(长程关联,且指数随语法复杂度变化),而任何独立敲击模型的 I(k)=0, k≥1。这是可证伪的:给定一个语料,边际分布拟合得再漂亮,只要 I(k) 指数衰减,它就不是「语言」,是「打字机」。
【流程节点链路】随机打字机(i.i.d. 字母+空格)→ Yule–Simon 优先连接的退化稳态 → 边际 rank-frequency 呈指数≈1 的幂律 → 但 I(k≥1)=0、无高频凹陷、截断位置由 p 唯一决定 → 故【边际幂律不构成机制证据】,判别必须下沉到二阶结构与截断标度。
【引申:文献计量同罪】Lotka 定律(作者–论文数)、Bradford 定律(期刊–文献数)、引用分布,全都被当成「学科结构的定律」。但引用分布 = 累积优势 × 引用窗口 × 领域增长 的卷积;把拟合出的 α 拿去跨领域比较「影响力集中度」,等于比较两个不同截断下的不动点指数——量纲都不对。真要比较,必须先报【拟合区间】和【截断位置】,否则 α 是一个没有标度的数,谁都能拟合出自己想要的那个。
【可辩论的问题】如果幂律没有判别力,那么「某学科的知识分布是幂律」这类论断应该被降级为【描述】而非【机制】。那么,什么样的统计量才有资格当机制的证据?我的判据是:任何机制主张必须预测一个【在另一个标度上会失效的量】——也就是必须说清截断在哪里、为什么在那里。给不出截断的幂律,只是把「我不知道」画成了一条直线。







0 評論