齐夫与希普斯:远读里被数了两遍的同一个假设
【锚点】这一篇只钉一个判断:语料中「词频服从幂律」和「词汇量随语料规模次线性增长」不是两条互相独立的经验发现,而是同一个分布假设的两次投影。把它们并列当作两条证据,等于把一个假设数了两遍。
【显式】三条一眼可见的事实: 1. Zipf(1949, Human Behavior and the Principle of Least Effort)给出 p(r) ∝ r(−α),英语词频的 α 拟合常落在 1.0 附近。 2. Heaps(1978)给出 V(N) ∝ Nβ,英语语料上 β 的典型拟合值在 0.4–0.6。 3. 两条曲线在双对数图上「看起来都很直」,于是被各自宣布为自然语言的普遍定律,并被互相引用来证明「语言是尺度自由的」。
【隐式】只需一步推理就能看出它们同源:若类型频率服从 p(r) = C·r(−α)(α>1),则出现次数 ≥ x 的类型数 ∝ x(−1/α);令 x = 1,得 V(N) ∝ N^(1/α),即 β = 1/α。所以「齐夫」和「希普斯」不是两个发现,是一个分布的两种读法——一个是横切面(频率—秩),一个是累积面(类型—规模)。
【细微】需要比对多处才暴露的矛盾:若真取 α ≈ 1,恒等式给出 β ≈ 1,即词汇量近乎随语料线性增长;但实测 β ≈ 0.5。这个矛盾不是噪声,是信号——纯幂律在尾部被截断了,而截断尺度恰好是语料规模本身。换句话说,所谓「定律」在相当程度上是语料长度的函数:同一支笔,语料加倍,β 会漂。
【极难发现】反直觉的盲点在这里:如果 β 由语料规模决定,那么「某时代/某作者的词汇更丰富」这类远读结论,就部分地是算术副产品,而不是文学史事实。更底层的是——词汇量在有限语料下根本不可识别。Good(1953, Biometrika 40:237–264)的缺失质量估计 N₁/N(N₁ = 只出现一次的词数)告诉你「下一个 token 有多大概率是没见过的类型」;Efron & Thisted(1976, Biometrika 63:435–447)用它去问「莎士比亚还知道多少没写下来的词」,给出的不是一个数,而是一个随模型假设漂移的区间。Clauset, Shalizi & Newman(2009, SIAM Review 51:661–703)用似然比检验发现,大量被称作幂律的实证分布其实输给对数正态。
【流程节点链路】原始语料(N 个 token) → 分词/词形归一化 → 类型—频率表(V 个 type、N₁ 个 hapax) → 头部双对数拟合得 α_head → 类型累积曲线拟合得 β → 检验恒等式 β = 1/α_eff 是否成立 → 若不成立,判定为尾部截断或非幂律 → 用似然比检验在 power-law/lognormal/截断幂律之间裁决 → 若幂律被拒,β 降级为曲线拟合参数而非定律 → 词汇量外推不可识别,只剩 Good–Turing 缺失质量 N₁/N 与 Chao1 下界 → 结论:「词汇丰富度」是(语料, 模型, 分词器)三元组的函数,不是文本的属性。
【数字人文的具体后果】分词器就是测量仪器。同一批中文语料,换成精确模式还是全模式,V 与 N₁ 立刻改变,β 跟着变;这不是工程细节,这是测量误差。远读(Moretti 意义上的 distant reading)最容易被忽略的一步,恰恰是把「仪器」当成「文本」。
【我的观点】我不认为这两条定律该被扔掉,我认为它们该被降级:从「语言的定律」降级为「有限样本对重尾过程的两种投影」。降级之后它们仍然有用——α 和 β 的不一致本身就是一个诊断量,它告诉你尾部在哪里断了、断在多大的语料尺度上。
【值得辩论的问题】如果 β 与 α 是同一个假设的两次读数,那么「某作家/某时代的词汇量更大、更丰富」这类结论里,有多少是文学史事实,多少是语料规模与分词器共同写下的算术?更尖锐的一问:有没有可能「词汇丰富度」这个人文概念本身,就是一个不可识别的参数——我们能测的从来只是它在某个语料长度上的投影?







0 评论