「越短越丰富」——类型/形符比是长度的函数,而「校正」只是换了个长度去说话
【锚点】这一篇只钉一件事:TTR(type-token ratio,类型/形符比)不是文本的属性,是文本长度的属性。任何「词汇丰富度」排名,在没说明比较长度的前提下,都是把一个长度差异读成了一个风格差异。
【显式】定义。TTR = V/N,V 是词型数(types),N 是词符数(tokens)。这是数字人文里最老的指标之一,也是被误用最多的一个。
【显式】机制。自然语言满足 Heaps 定律:V(N) = K·Nβ,英语散文的经验 β 落在 0.4–0.6,常报 ~0.5。代入定义即可:
【流程节点链路】Heaps 定律 V = K·Nβ → 代入 TTR = V/N → TTR = K·N(β−1) → 取 β = 0.5 → TTR = K·N(−0.5) → 结论:TTR 随长度以 −1/2 次幂衰减,长度翻倍则 TTR 乘 0.707(降 29.3%),长度变 100 倍则 TTR 降到 1/10。
【显式】算一遍。取 K=10、β=0.5(量级合理,不必精确): · N=1,000 → V≈316 → TTR≈0.316 · N=10,000 → V≈1,000 → TTR≈0.100 · N=100,000 → V≈3,162 → TTR≈0.032 一首 1000 词的诗 TTR 是 0.32,一部 10 万词的小说 TTR 是 0.03。诗「丰富」十倍。这不是诗更丰富,这是诗更短。
【隐式】所以「莎士比亚用过约 31,534 个词,钦定本圣经只有约 12,000 个」这类比较,在没做长度校正前不构成任何关于「词汇丰富度」的证据——它首先是关于「文本长度」的证据。(这两个数字来自 Spevack 的手工 concordance 传统,量级可信,精确值我持保留:分词标准、屈折归并、专名是否计入,都会让数字漂移几千。)
【隐式】标准校正做法是 rarefaction(稀疏化):把长文本随机降采样到 N₀ 个 token,重复 B 次,取 V 的均值与区间,让两条文本在同一 N₀ 上比较。
【流程节点链路】原始语料 → 固定 N₀(如 1000)→ 对每条文本做 B 次(如 B=1000)随机抽样 → 每次算 V_b → 取均值 V̄(N₀) 与 95% 区间 → 在同一 N₀ 上比较 V̄ → 终点:得到一个「在 N₀ 尺度上的丰富度」。
【细微】注意终点那句话里的限定词:「在 N₀ 尺度上」。rarefaction 没有消除长度依赖,它只是选了一个长度。因为 V(N) 是凹函数(β<1),短尺度上的边际新词率更高,所以 N₀=1000 与 N₀=50,000 会给出不同的排名。谁在短尺度上「更丰富」,谁在长尺度上未必。
【细微】连常被当成「长度不变」的 Herdan’s C = log V / log N 也不成立,这一点可以算出来:
【流程节点链路】Heaps 定律 V = K·N^β → 两边取对数 log V = log K + β·log N → 代入 C = log V / log N → C = β + (log K)/(log N) → 结论:C 随 N 单调漂移,只在 N→∞ 时渐近收敛到 β;「长度不变」是个渐近陈述,不是有限样本事实。
【极难发现】于是这里有一个不能靠技术消解的规范性缺口:「词汇丰富度」没有长度无关的定义。你可以选原始 TTR、选 rarefied V、选 Herdan’s C、选 MATTR(滑动窗口平均,Covington & McFall 2010)、选压缩率——每一个都是在「用哪个长度尺度说话」上投了一票,而没有任何一个是由数据本身授权的。这一层要跨三四篇文献比对、并且自己把 C 的表达式推一遍才暴露出来。
【观点】这就是我说的「度量即权力」的一个可算版本:TTR 不撒谎,它只是把你没指定的那个变量(长度)拿去替你做了决定。而当你比较「少数群体写作 vs 主流写作」「早期 vs 晚期」「口述转录 vs 书面」时,长度差异几乎从不随机——边缘文本更短、残存文本更短、转录文本更短。一个未校正的 TTR 会系统性地把这些文本判为「更丰富」,而读者会把「更丰富」读成「更有创造力」。这不是统计错误,这是一次未经同意的代理投票。
【待验证点】可证伪的预测:在某个语料库上,把原始 TTR 排名与 rarefied V(N₀=该库 token 中位数) 排名做 Kendall τ。我预期 τ 显著小于 1,且 (1−τ) 与该库内文本长度的离散度正相关;若 τ≈1,说明该库中长度与风格正交,我的论证在那个语料上不成立。这是个能跑的检验,不是修辞。
【问题】既然没有长度无关的丰富度:「在哪个长度上比较」这个决定,应该由谁来做、需要谁的同意? 如果答案只是「研究者」,那我们其实是在说——文本的「丰富」由抽样的那个人定义。你接受这个吗?






0 Comments