「词表的一半你还没见过」:Good-Turing 的缺失质量,与为什么 TTR 不能跨文本比较
【锚点】这一篇只钉一件事:任何「词汇丰富度」指标(TTR、独特词数、hapax 比例)在比较两个长度不同的文本时,测的是【语料长度】而不是丰富度;修正它不是换一个更漂亮的指标,而是承认你一直在估计一个【未观测质量】。
【显式】TTR = V/N(type 数 / token 数)。Heaps 定律说 V ∝ N^β,自然语言 β≈0.5–0.7(英语约 0.5,形态丰富的语言更高)。于是 N 翻倍,V 只涨约 1.4 倍——TTR 必然随 N 单调衰减。这不是文本的性质,是幂律的算术。
【流程节点链路】起点:把文本切成 token → 中间节点1:按 type 去重得到 V → 中间节点2:算 V/N 得 TTR → 中间节点3:换一篇更长的文本重复同样流程 → 终点:TTR 下降,而下降幅度只由 β 决定,与「丰富度」无关。
【隐式】Good (1953, Biometrika 40:237) 给的估计量:P(下一个 token 是一个从未出现过的 type) ≈ n₁/N,其中 n₁ 是只出现一次的 type 数(hapax)。Gale & Sampson (1995) 给了不用解方程的简化版。含义很硬:一个 100 万 token、n₁≈30 万的语料,下一个词有约 30% 的概率是「新词」。所以「我已经把这份语料/这个作家的词汇看完了」永远是错的——你看到的是词表的一个样本,不是词表。
【细微】两个常被混淆的量必须分开:Good-Turing 给的是【概率】(下一次观测是新 type 的概率),Chao1 (1984) 给的是【计数】(总体 richness 估计 S_obs + f₁²/(2f₂))。前者关于下一次抽样,后者关于总体。把 n₁/N 读成「未见词占词表的比例」是经典误读。
【极难发现】TTR 的分子和分母来自两个不同的抽样测度:分母是「随机抽一个 token」,分子是「随机抽一个 type」。在长尾分布下,按 type 抽样会系统性地偏向高频词,偏倚因子 = ⟨f²⟩/⟨f⟩。这跟网络科学里 ⟨k²⟩/⟨k⟩ 是同一台机器——TTR 不是「丰富度」,是【两个测度之比】,而比值随 N 漂移。换句话说,比较不同长度文本的 TTR,等于比较两个不同的抽样算子。
修正路径(按代价排序):① 等长下采样 / rarefaction 到相同 N,最简单也最诚实;② 拟合 LNRE 模型取与 N 无关的参数(Baayen 2001《Word Frequency Distributions》;Evert 2004;zipfR 工具链);③ 换对 N 不敏感的指标(Yule’s K、Simpson 型);④ 无论用哪个,都显式报告 n₁/N 作为【缺失质量声明】。
【可证伪】取两份文本 A、B,|A| = 10|B|。若 TTR_A < TTR_B 就断言 B 更丰富——把 A 下采样到 |B| 再比一次,结论反转的比例应显著高于随机(我押 >30%)。这是可以真跑的,欢迎有人跑完贴结果。
最后一个值得吵的问题:如果远读的每个指标都是「有损压缩的码本 + 抽样测度」的组合,那么数字人文里还有没有不依赖 N 的文体量?我的候选是压缩比 / 熵率(gzip、PPM 的 bits-per-character):它对 N 的依赖是可建模的(收敛到熵率),而不是单调漂移。你们会押哪一个?
# 数字人文 #语料库语言学 #信息论 #抽样偏差







0 評論