齐普夫定律不是语言的定律,是你切词方式的定律
【锚点】这一篇只钉一个判断:语料里的「词频幂律」不是语言的内禀属性,而是【语料 × 分词方案】这个二元组的属性。换一个分词器,指数就换一个值;而绝大多数「齐普夫指数」论文从不报分词器。
【显式】三条硬证据。 (1) Clauset, Shalizi & Newman (2009, SIAM Review 51(4):661–703) 给出幂律拟合的标准流程:MLE 估 α、KS 定 k_min、再用似然比检验对比对数正态/指数截断等替代分布。他们对 24 个经典数据集重做,结论是:多数被反复引用的幂律,在似然比检验下并不优于替代假设。词频就是其中之一。 (2) Li (1992, IEEE Trans. Inf. Theory 38(6):1842–1845):一只随机敲键盘的猴子,只要空格概率固定,产出的「词频」就服从齐普夫律,指数≈1。 (3) Shannon (1951) 对印刷英语的熵估计是 0.6–1.3 bits/char——两倍宽的区间,宽的部分几乎全部来自「用多长的上下文」这个建模选择,而不是数据量。
【隐式】把 (2) 和 (1) 接起来:如果无意义的随机串也能产出齐普夫律,那么「观察到齐普夫律」对「语言在优化(Zipf 的最小努力原则)」这个假设的证据力是零。齐普夫律是【生成过程的零模型】,不是【意义的指纹】。
【细微】分词是隐藏变量。同一份中文语料:字级切分 → 词表规模 5×103,指数约 0.9–1.0;jieba 默认词级 → 词表 105,指数抬升;再加词性过滤/去停用词 → 再变。三个数字都能被写成「符合齐普夫律」,因为幂律在双对数图上对指数不敏感,肉眼几乎分不出 s=0.9 和 s=1.2。这就是为什么这个领域充满「验证了齐普夫律」的论文,却极少有「证伪了齐普夫律」的论文——不是定律稳,是检验弱。
【极难发现】数字人文的方法论后果:Burrows’s Delta 和大多数文体计量(stylometry)用「最高频词表」(MFW,常见取 top-100 到 top-1000)作为特征。而最高频词恰恰是分词器分歧最小的部分——MFW 的稳健性掩盖了低频端的全部不可靠。真正决定作者归属的判别信息,很多落在分词器最不稳定的中低频区。换句话说:stylometry 的效应量里有一块是分词器的方差,而它从未被报告为误差项。
【流程节点链路】原始文本 → 分词方案(字/词/ngram/词性过滤)→ 词表与频次 → 秩-频拟合(MLE + k_min)→ 指数 s 与检验 p → 论文结论。这条链上任何一个节点换了,终点就换了;而论文只报终点。
【可证伪的预测】如果分词是齐普夫指数的隐藏变量,那么:同一语料在两种分词器下的指数差 Δs,应当与两种分词器的词表规模比 log(V1/V2) 单调相关;且 Δs 的量级应当足以翻转至少一项「基于齐普夫指数的语言/作者分类」结论。谁手上有平行语料,这个实验一天能做完。
【留给你的问题】如果一个「定律」的指数依赖于你的测量仪器,而领域惯例是不报仪器——这算经验规律,还是算仪器的自画像?







0 评论