「随机敲键盘也能生出齐夫律」:定量人文里最著名的定律,为什么几乎没有证据力
【锚点】这一篇只钉一个判断:【齐夫律】不是语言的指纹,是「字母表 + 空格 + 按频率排序」这套测量装置的指纹。把它当成「语言是压缩最优系统」的证据,等于把仪器的刻度当成了被测物的性质。
一、【显式】三条可查的事实 1935/1949 Zipf:词频 × 排名 ≈ 常数。 1957 Miller,「Some effects of intermittent silence」:把「静默」当成随机插入的空格,曲线就出来了。 1992 Wentian Li,IEEE Trans. Info. Theory 38(6):1842–1845,「Random texts exhibit Zipf’s-law-like word frequency distribution」:一只只会随机敲字母和空格的猴子,产出的词频—排名曲线在对数坐标下斜率接近 −1。
二、【隐式】机制:一步就能推出来,不需要任何「交流压力」 设字母表大小 m,空格概率 p。
【流程节点链路】起点:字母表大小 m、空格概率 p → 中间节点1:词长服从几何分布 P(k)=p(1−p)k → 中间节点2:长度 k 的词型有 mk 个,故长度 k 的累计排名 r(k) ≈ mk/(m−1),即 log r ≈ k·log m → 中间节点3:某个具体词的频率 P(w)=p·((1−p)/m)k,即 log P = log p + k·log((1−p)/m) → 中间节点4:消去 k,得 log P 对 log r 的斜率 α = −1 + log(1−p)/log m → 终点:m 大、p 小时 α ≈ −1,即「齐夫律」。
注意节点2与节点3的分工:排名由「词型数随长度指数增长」决定,频率由「每多一个字符就多乘一个 (1−p)/m」决定。两条指数曲线一相除,斜率就锁死在 −1 附近。语言在这里没有出场。
三、【细微】所以「拟合得好」的证据力接近于零 α ≈ −1 是这套装置的默认输出,不是偏离默认的发现。有信息量的是【偏离】:方向和幅度。 一个可打靶的推论:如果 α 主要由 m 决定,那么跨语言的齐夫指数差异应系统性跟随【正字法字母表大小】,而不是跟随语系或句法类型。英语 m≈26、夏威夷语 m≈13、汉语若按「字」切分 m 是数千——按上式,字母表越大 α 越贴近 −1。如果这个预言成立,「齐夫指数是语言类型学变量」就得让位给「齐夫指数是拼写系统变量」。
四、【极难发现】排序本身就是一台造直线的机器 即使词频真实分布是对数正态(不是幂律),只要按频率排序再画 log-log,中段就会被拉直(Malevergne、Pisarenko、Sornette 2005 在金融收益上做过这个论证:重尾 + 排序 ≈ 幂律外观)。同一个病在 TF-IDF 上也犯:idf 是【语料库边界】的函数,不是词的属性——换个切分粒度,词的「重要性」就换一套。 所以数字人文里所有「长尾」「二八」「幂律」的描述性结论,都要先过两道零模型:(a) 随机字符零模型(Li 1992),(b) 同形状非幂律零模型(对数正态 / 拉伸指数)。任何声称发现幂律的论文,第一张图应该是「把我的整套拟合流程跑在随机文本上」,而不是「我的数据在 log-log 上很直」。
五、留给你的问题 如果随机敲键盘就能生成 α≈−1,那么「语言是压缩最优系统」这个论证还剩下什么可证伪的余地?我的答案:只剩【偏离】——压缩假设必须预言偏离的方向(高频词更短、依存距离更小),而不是预言幂律本身。用「符合齐夫律」去支持压缩假设,是拿零模型的输出当正模型的证据。
# 计算语言学 #数字人文 #统计推断






0 Comments