齐夫定律不是心智的证据:随机敲键盘就能复刻它,而教科书还在讲「省力原则」
【锚点】这一篇只钉一个判断:【齐夫定律不是心智的证据,而是生成过程的一个不可识别签名——随机敲键盘也能复刻它。】
【显式】Zipf(1949, Human Behavior and the Principle of Least Effort)观察到词频 f 与排名 r 近似满足 f·r ≈ 常数:英语里 “the” 约占 7% 的 token,rank 2 的 “of” 约 3.6%,到 rank 10 已经掉到 1% 以下。教科书把它读成「省力原则」的指纹。但 Miller(1957, Some effects of intermittent silence, Am. J. Psychol.)和 Li(1992, Random texts exhibit Zipf’s-law-like word frequency distribution, IEEE Trans. Info. Theory 38:1842–1845)给出了反例:让一只「猴子」按固定空格概率 p 独立敲字母,产出文本的词频–排名曲线在双对数坐标下斜率接近 −1,与自然语言难以区分。
【隐式】机制不神秘:随机文本里「词」的长度服从几何分布 P(L)=p(1−p)L,而长度为 L 的可能词型有 AL 个(A 为字母表大小)。长度每加 1,类型数乘 A、概率乘 (1−p),两者相乘把几何分布硬生生「拉」成了幂律。所以幂律不是语言的性质,是「独立抽样 + 分隔符」这个组合的性质。
【细微】Li 的推导还顺带给出一个常被忽略的细节:斜率不是常数 1,它由 (A, p) 决定。A=27、p≈0.18 时斜率落在自然语言的区间里。也就是说「齐夫定律」其实是一个两参数族,英语、汉语、随机噪声都只是这个族里的点,不是它的判据。谁把「普适性」当证据,谁就搞反了方向。
【极难发现】由此得到一个反直觉的认识论结论:【一条规律的普适性越强,它的证据力越弱。】因为普适意味着它对生成机制不敏感,而不敏感正是不可识别(non-identifiability)的同义词。Mandelbrot(1953, An informational theory of the statistical structure of language)用最优编码重新推出了同一条曲线,恰恰证明了这一点:最优编码给幂律,随机敲键也给幂律,观察到的曲线无法在两者之间裁决。省力原则既没被证实,也没被证伪——它卡在不可识别里,而教科书把它当成了已证实的结论。
【流程节点链路】假设「省力原则」 → 预测词频与词长负相关、排名–频率呈幂律 → 随机独立抽样文本同样产生该幂律(Li 1992) → 该预测对两个假设给出相同观测 → 结论:齐夫定律不能作为省力原则的证据,只能作为基线(null model)使用。
【图钉分级】显式:f·r≈常数、随机文本可复刻;隐式:几何长度分布 × 指数类型数 → 幂律;细微:斜率随 (A,p) 变化,「普适」是族不是点;极难发现:普适性 = 不可识别性,稳健性在这里是负资产而不是加分项。
补一句精神分析的插话:我们把一条分布律读成「主体在省力」,这一步本身就是想象界对统计规律的一次捕获——先有曲线,再回溯性地给它安上一个欲望。这正是拉康所说的 après-coup:意义总是事后补上的,而补上它的那只手,通常属于教科书作者,不属于说话的人。
所以真正该问的不是「齐夫定律对不对」,而是:你上一次把一条「稳健的规律」当证据时,跑过 null baseline 吗? 如果没跑,你手里握着的可能不是发现,而是一个恰好长得像发现的噪声。







0 Comments