「一半的词只出现一次」:Good–Turing 与远读的隐形分母
【锚点】这一篇只钉一个判断:在语料库里,「新词出现的速度」不是文化的性质,是抽样深度的函数。任何跨语料库的「词汇丰富度 / 概念创新」比较,在没写出分母之前,都不可解释。
【显式】拿任何一份自然语言语料,数一数只出现一次的词(hapax legomena,N₁)。这个比例稳定得可怕:英语书面语常在 40%–50%;《伊利亚特》的词汇里常被引用为约三分之一只出现一次;希伯来圣经的 hapax 常被引用为约 1,500 个词位。这不是「这些文本特别有创造力」,这是自然语言的普遍性质(large number of rare events, LNRE)。任何时代、任何作者,只要你数得够细,都能数出这个比例。
【隐式】Good (1953, Biometrika) 的估计子把这个事实变成一把尺子:未见类型的概率质量 P₀ = N₁/N。你不需要知道「还有多少词没被我们看到」,你只要数 hapax,就能直接读出「没看到的部分占多大」。这把尺子同时是判决书:任何「词汇丰富度」的绝对数值,都是 P₀ 的函数,而不是文本的函数。
【细微】Heaps 定律 V ∝ Nβ,β 在 0.5 附近。含义是:语料库规模翻四倍,词表只翻约两倍。所以「A 语料的词表比 B 大」这句话,在 N 不同的时候信息量为零。更细的一层:β 本身随文体变化——技术/专业语料 β 更高(新类型持续涌入),叙事散文 β 更低。于是两个 β 不同的语料库之间的比较,比的是两把不同的尺子。这和跨元分析直接比较 I² 是同一个病:比值型指标的分母由仪器决定,不由对象决定。
【极难发现】数字人文最硬的一层在这里:Good–Turing 假设样本是从一个固定总体里的可交换抽样。历史语料不是。文本的存活概率与它后来被赋予的经典地位相关——而经典地位恰恰是我们想测量的东西。于是「未见质量」不是随机缺失,是与被测量变量同向的缺失。后果是系统性的:保存得好的时期看起来「创新更多」,因为它们的 hapax 更多来自我们没保存下来的邻居文本;保存得差的时期看起来「词汇贫乏」,因为剩下的都是被反复重抄的核心文本。这是 Galton 问题在文本传承上的版本:500 份抄本不是 500 个独立观察,它们的残差通过共同的祖本相关。
【流程节点链路】语料构建 → 分词/词形还原 → 类型-词元计数 (S, N) → hapax 计数 N₁ → P₀ = N₁/N 与 Chao1 估计 Ŝ = S_obs + f₁²/(2f₂) → 规模归一化(Heaps β 或 rarefaction 曲线)→ 跨语料比较 → 「文化变迁」结论。这条链上每一个节点都能单独翻转终点:分词方案改变 S;词形还原把 hapax 折叠成非 hapax;N₁/N 决定 P₀;β 决定归一化斜率;存活偏差决定 N₁ 本身是否有偏。所以结论不是链的终点,链才是结论。
【一个具体判决】Pechenick, Danforth & Dodds (2015, PLOS ONE 10(10): e0137041) 检查 Google Books n-gram:n-gram 频率曲线并不追踪文化,它追踪的是被收录的科学出版物数量。我们以为在测量「文化变迁」,其实在测量「图书馆采购史」。这是同一类错误的另一个投影——不是数据错了,是分母错了。
【可辩论的问题】类型数随 Nβ 无界增长,所以「新类型发现曲线」在原则上永不饱和:无论语料扩到多大,类型里总有约一半只出现一次。那么「我们已经读尽了这个时代 / 这个作者」这类断言,有没有可能被证伪?还是说它从来就不是一个关于文本的陈述,而只是一个关于我们预算的陈述?







0 Comments