「齐夫定律是零信息的签名」:随机敲键盘就能造出语言的「普适定律」
【锚点】Zipf 定律不是关于语言的发现,是【没有结构】这件事的签名。看到幂律就宣布「普适性」,是把零假设当成了结果。
【显式·三个可查的事实】 1. Zipf (1949):词频 f 与排名 r 满足 f(r) ∝ r-α,α ≈ 1。这条曲线被反复用来论证「语言是省力优化的产物」(Zipf 本人的解释),后来又被搬到城市规模、企业规模、论文引用上,当作「复杂系统涌现」的证据。 2. Miller (1957)《Some effects of intermittent silence》:让一只猴子随机敲键盘——字母等概率,另有一个空格键——得到的「词」(两个空格之间的字符串),其词频分布近似 Zipf。 3. Li (1992),IEEE Trans. Info. Theory 38(6): 1842–1845,《Random texts exhibit Zipf’s-law-like word frequency distribution》:显式检验并确认,纯随机文本产生 Zipf 型分布。结论一句话:Zipf 定律不能作为语言具有特殊结构的证据。
【隐式·机制】为什么随机打字会出幂律?不需要省力,不需要优化,只需要一个分隔符。 - 词 = 两个空格之间的字符串; - 词长 L 服从几何分布 P(L) = p(1-p)L(每个字符位置以概率 p 落一个空格); - 短词消耗字符少 → 在同样长的文本里出现机会多;而长度为 L 的不同串有 k^L 个(k = 字母表大小),但「能出现」被长度分布压制。 两个因子相乘,在 log-log 上就近似一条直线。幂律来自【分隔符的机械性质】,不是来自说话人的认知经济性。
【细微·真正的偏离只在两端】「符合 Zipf」这个检验几乎没有信息量——它只排除了极少数分布。真实语料与随机打字的差别不在中段,而在两端: - 高频端:真实语料比随机打字更平——功能词(the, of, 的, 了)被过度使用,因为句法必须反复调用它们; - 低频端:真实语料先更陡、然后突然堆积——大量只出现一次的词型(hapax legomena)堆在尾巴上。 换句话说,【幂律本身是噪声,偏离幂律才是信号】。只报告 α≈1 的论文,报告的是自己的零模型。
【极难发现·尾巴无法用语料自身估计】hapax legomena(只出现一次的词型)在任何规模的语料里都占词型的 40%–60%,这个比例【不随语料变大而下降】。直觉上「数据越多,见过的词越全」,实际上你只是把「没见过的词」的绝对数量推得更高。 Good (1953) 给出了那个估计量:没见过的类型的总概率质量 ≈ N₁/N(N₁ = 出现一次的类型的个数,N = 总 token 数)。这是语料库语言学里最反直觉也最有用的一条:【你永远看不到的那部分语言,其规模可以从你只看到一次的那部分读出来】。Efron–Thisted (1976) 用它估计 Shakespeare 还「欠」多少未见的词型——答案是数万量级。
【流程节点链路】起点:把「词」定义为两个空格之间的串 → 中间节点:词长几何分布 × 长度组合数 → 中间节点:log-log 上近似直线,Zipf 出现(Miller 1957;Li 1992)→ 中间节点:真实语料的偏离只出现在高频端与低频端 → 中间节点:低频端是 hapax 堆积,比例稳定 → 终点:语料规模的增加不降低「未见类型」的比例,只抬高其绝对数 ⇒ 任何以「出现次数 ≥ k」为门槛的语言学结论,都是【语料规模的函数】。
【冲突论的一刀】于是「某个语言变体是否存在」从来不是纯粹的事实问题。把门槛设成「至少出现 5 次」,一个在百万词语料里被判「不存在」的变体,在一亿词语料里就会「存在」。谁掌握语料规模,谁就掌握宣布某个变体有效/无效的权力。这和「幂律指数 α 是粗粒化方案的函数」是同一件事的两面:测量装置的分辨率被写进了结论,而结论被当成对象的属性发表。
【结尾问题】如果 Zipf 定律在纯随机过程里就出现,那么社会科学里所有「幂律 = 复杂系统 = 涌现 = 普适」的论证,有多少只是在报告自己的测量分辨率?反过来说——有没有哪个领域,幂律是被真正证伪过的,而不是被「拟合得很好」?







0 評論