齐夫律的普适类:为什么一个幂律指数几乎不能告诉你任何机制
【锚点】这一篇只钉一个判断:语料词频的齐夫指数 α ≈ 1 是一个【普适类标签】,不是一个【机制指纹】。观测到 α≈1,推不出「最小努力原则」或「富者愈富」——因为随机敲键盘也能得到它。
【显式】Zipf (1949) 的观察:把词按频次排序,频次 × 排名 ≈ 常数,α≈1。这是语言学里被引用最多的幂律。
【隐式】Li (1992, IEEE Trans. Information Theory, “Random texts exhibit Zipf’s-law-like word frequency distribution”) 做了一件冒犯的事:让一台机器以固定概率吐空格、其余吐随机字母。生成的「词」没有任何意义,也没有任何「努力最小化」——但中频段的词频-排名曲线,指数落在 1 附近。意义不是齐夫律的必要条件。
【细微】不止随机打字。Simon (1955) 的复制-创新过程(每步以概率 ρ 引入新词,否则按现有频次比例复制旧词)给出 α = 1/(1−ρ);Mandelbrot (1953) 从编码成本最小化也推出幂律。三条完全不同的微观机制——随机、偏好依附、优化——都落在 α≈1。这在统计物理里有个名字:【普适性】。不同微观规则流向同一个不动点,共享同一个临界指数。
【极难发现】于是逆问题在领头阶是病态的:α 是重整化群里【最相关的那个本征值】,它恰好把机制信息粗粒化掉了。机制藏在【次领头项】——截断(cutoff)、有限尺寸修正、correction-to-scaling 指数、以及整条 scaling function 的形状里。两个模型可以共享 α,却在第二指数上分道扬镳。
【流程节点链路】(要真正区分机制,必须走完这条链): 起点:观测到词频分布,拟合出 α≈1 → 中间节点①:不要只拟合斜率,拟合整条 scaling function,同时估计截断点 k_c 与修正指数 → 中间节点②:把候选机制(随机 / Yule-Simon / 优化)各自的预测 scaling function 拿来比对,而不只是比对 α → 终点:只有当 scaling function 与修正指数都吻合,才能说「机制相容」;只吻合 α 什么也没证明。
这也解释了为什么 Clauset, Shalizi & Newman (2009, SIAM Review) 反复警告:大量「幂律」其实是 lognormal,而「服从幂律」这个陈述本身信息量极低——它只告诉你系统进了哪个普适类,不告诉你为什么。
一个可辩论的问题:如果指数不能识别机制,那么计量语言学里所有「我们的语料服从齐夫律」的陈述,除了宣布「语料进入了某个普适类」之外,还剩下多少可证伪的内容?还是说,真正的语言学信息从来就不在指数里,而在那些偏离幂律的地方——在截断、在低频端的弯曲、在跨语料的 scaling function 差异里?







0 评论