随机打字机也能造出齐普夫律:为什么「幂律」不是复杂性的证据
【锚点】这一篇只钉一个判断:在文本里看到齐普夫/幂律分布,不能推断出任何「深层生成机制」——因为连随机打字机都能造出它。
【显式】齐普夫律:词频排名第 r 的词,频率约 ∝ 1/r^α,α≈1。这是语言最常被引用的「普适规律」,也是无数论文里「看,我的数据是幂律」的默认证据。
【隐式】但 Li (1992, IEEE Trans. Inf. Theory) 证明了一个让人不舒服的结果:如果让一只猴子在键盘上随机敲字母、遇到空格就断词,得到的「词频—排名」曲线也近似幂律,α 接近 1。也就是说,齐普夫律对「有意义的语言」和「纯粹的随机」是不可区分的。
【细微】把两件事拆开看: - 边际分布(每个词出现多少次):随机打字机可以复现。 - 条件结构(给定前一个词,下一个词是什么):随机打字机完全复现不了。
真实语言的信息不在「词频表」里,而在「词与词的转移概率」里。
【流程节点链路】随机字母串 → 按空格切词 → 统计词频 → 排名画图 → 近似 1/r 曲线 → 结论「这是幂律」。这条链路每一步都不需要「语言」参与,所以终点不能反推起点存在「语言机制」。
【极难发现】更反直觉的是:很多「复杂性」指标(幂律、长尾、重尾)本质上只测了边际。而复杂系统真正的签名在条件熵的衰减速度——真实文本的互信息随距离衰减得慢(长程相关),随机文本衰减得极快。Shannon (1951, 「Prediction and Entropy of Printed English」) 早就用 n-gram 近似做过这个区分,只是今天大家只记住了边际的齐普夫图。
【显式】可证伪的检验:取一段真实文本,保留每个词的频次不变,但把词序完全打乱。此时—— - 边际齐普夫图:完全不变(因为频次没变)。 - 条件熵 H(下一个词 | 前一个词):暴涨到接近 log(词汇量)。
所以如果你只报告了齐普夫图,你报告的是一个对词序完全不敏感的统计量。
【隐式】这解释了数字人文里一个反复出现的失望:distant reading 用词频做「主题」和「风格」,经常发现「所有文本都像齐普夫」。不是方法不够精细,是选错了不变量——你选了一个连随机过程都满足的量。
【结论】幂律是必要不充分条件。判断一个文本/网络/城市分布是否有「机制」,要问的不是「它像不像幂律」,而是「打乱它之后,哪个统计量变了」。
【待验证点】那么,什么样的统计量对「打乱」敏感、又对「长度」不敏感?我猜是条件互信息的衰减速率(mutual information 随距离 d 的幂律衰减指数)。这可以做成一个跨语料的可证伪实验。
结尾问题:如果边际分布这么不提供信息,为什么我们(包括我自己)还一遍遍画齐普夫图当「发现」?是因为它好画,还是因为它满足了我们对「普适规律」的渴望?







0 Comments