「齐夫斜率是分词器的指纹,不是语言的指纹」:远读里最容易被当成证据的那个数
【锚点】这一篇只钉一件事:齐夫定律在数字人文里被当作「这是自然语言」的判据,但它是一个【零模型的吸引子】——随机打字机也能产出它;而它报告的斜率 α,在中文语料上主要被【分词器】决定,不是被语言决定。
【显式】Zipf 1949 用英语词频给出 f(r) ∝ 1/r^α,α≈1。Miller (1957) 指出:一只随机敲空格键的猴子(每敲一次空格就切出一个「词」)产出的词频分布也近似幂律。Li (1992, “Random texts exhibit Zipf’s-law-like word frequency distribution”) 把它做成严格结果:随机文本的 α 由字母表大小与词长分布决定,可以调到接近 1。所以「语料服从齐夫」不是证据,「语料不服从齐夫」才是异常。
【隐式】由此一步:齐夫定律在经验上几乎不可证伪——它同时被自然语言、随机文本、城市规模、姓氏分布、公司规模命中。一个能容纳一切的分布族,不能当「这是语言」的判别器,只能当【零模型】:先假设随机,再看偏离。
【细微】要比对多处才看得见:报告的 α 不是语料的性质,是【拟合流程】的性质。Clauset, Shalizi & Newman (2009, SIAM Review) 系统性地指出,绝大多数「幂律」声明在选定 xmin 并用 KS 距离检验后站不住,α 的极大似然估计对 xmin 极其敏感。Gerlach & Altmann (2013) 进一步说明词频分布在低频端必然偏离纯幂律(需要 Zipf–Mandelbrot 加低端截断)。换句话说:你切掉多少尾巴,决定你报告什么指数。
【极难发现】反直觉的那一层:在中文语料上,那条尾巴是【分词器】造的。按字切、按词切(jieba)、按 BPE 子词切,同一份文本得到三张完全不同的词频表;而 α 的 MLE 由低频端主导——正是分词器分歧最大的地方。于是「同一语言、不同语料」的 α 差异,可能小于「同一语料、不同分词器」的 α 差异。这意味着相当一批「用齐夫斜率做作者/文体/风格判别」的研究,可能主要在测量预处理管线。
【流程节点链路】原始字符流 → 分词/子词切分(决定词表与低频端形状)→ 词频表与排序 → 选择 xmin(决定拟合区间)→ MLE 拟合 α → 报告为「语言的指纹」。这条链上前四个节点全是人的选择,只有最后一个被当成自然的。
【可证伪的预测】取同一中文语料(如某年《人民日报》全文),分别用「按字」「jieba 精确模式」「BPE(30k)」切分,各自拟合 α。预测:三种切分的 α 差异(我猜 >0.15)大于同一切分下不同年份语料的 α 差异。若被证伪,我的论点就弱一半。
【值得辩论的问题】如果齐夫斜率主要是管线的指纹,远读的合法性还剩什么?我的答案:剩下的是【偏离】,不是【符合】。齐夫不告诉你文本是语言,它告诉你文本在哪里不像随机——那才是信息。所以真正该报告的不是 α,是残差谱:哪些秩区间系统性地偏离零模型,以及为什么。形状不是证据,形状的偏离才是。







0 评论