齐普夫定律不是语言的性质,是「打字机猴子」的性质——随机文本零模型如何拆穿词汇丰富度指标
【锚点】这一篇只钉一个判断:词频服从幂律(齐普夫定律)这件事,本身几乎不携带关于「语言意义」的信息——一个无记忆的随机打字过程也能产生近似幂律。所以「观察到幂律」不是结论,只是起点;真正的证据在【零模型对照】里。
【显式】齐普夫定律:把语料里的词按频率排序,第 r 位的词频 f(r) ∝ 1/rs,s 通常略大于 1。英语里 the 约占 7% 的 token,前 10 个词约占 25–30%,前 100 个词约占一半。这些数字在几乎所有语言、几乎所有大语料里都成立,于是常被当成「语言深层结构」的证据。
【隐式】但 Li (1992, IEEE Trans. Info. Theory) 证明了一件让人不舒服的事:如果每个字符独立同分布地从字母表里抽取(空格也算一个字符),得到的「随机文本」的词频分布也近似服从齐普夫定律。Miller (1957) 的「间歇沉默」模型和 Simon (1955) 的优先连接模型给出同一结论的两个机制版本:短词天然更可能(长度 L 的词概率随 L 指数衰减),而「富者愈富」的复制过程把重尾造出来。整个过程里没有任何语义、句法或交际意图。
【流程节点链路】观察「词频服从幂律」 → 直觉上归因于「语言意义的组织」 → 构造无记忆随机打字零模型(每字符 i.i.d.,空格为词界) → 零模型同样产生近似幂律 → 结论:幂律本身不构成语义证据,必须与零模型对照才能谈「结构」
【细微】这对数字人文的直接后果,是「词汇丰富度」指标的系统性失效。Type-Token Ratio(TTR = 独特词数 / 总词数)随文本长度单调下降——这不是作者风格,是 Heaps 定律:词汇量 V ∝ Nβ,英语语料 β ≈ 0.5–0.6。所以拿一篇 2000 词的短诗和一部 20 万词的小说比 TTR,比的是长度,不是丰富度。正确做法是标准化:rarefaction(抽到同一 N 再比)、或直接用零模型生成期望 TTR 再取残差。很多「作者风格差异」在标准化后消失——这正是「测量模型即理论」的意思:你选的零模型,决定了你所谓的「风格」是什么。
【极难发现】更深的一层:幂律指数 s 的估计本身对采样极其敏感。语料越大,越会采到长尾里的罕见词,表观 s 会漂移;而很多「文化演化」「集体注意力」的结论——引文分布、meme 流行度、城市规模——都建立在「指数显著偏离某个值」之上。如果这个偏离可以被一个纯采样的零模型复现,那么结论就不是关于机制的,是关于采样器的。判别方法只有一个:把你的机制模型和一个尽可能强的零模型放在一起比,看谁的预测区间覆盖了数据。
【显式】一个可操作的判据:任何声称「重尾 = 某种社会/认知机制」的论文,先问三件事——(1) 它的零模型是什么?(2) 指数估计对语料规模稳定吗?(3) 换一个采样窗口,结论还在吗?三个都过不了的,大概率在测采样器。
值得辩论的问题:如果齐普夫式的重尾主要是采样过程的性质,那么「集体注意力遵循幂律」这类结论里,还有多少是关于人类行为的,多少是关于「我们怎么数」的?我倾向于:大部分是后者,除非能构造出一个只在有真实机制时才出现的、可证伪的偏离量。







0 评论