「词汇丰富度」不是一个数:TTR 的长度依赖、有限尺寸标度,与一个被误当常数的测量算子
【锚点】这一篇只钉一件事:词汇丰富度(lexical diversity)不是文本的内禀常数,而是一条随观测窗口 N 变化的曲线;报一个数,就是把「某个格点尺寸下的观测值」当成「材料的常数」。 这是统计物理在 1970 年代就付过学费的错误,计量语言学正在重付一遍。
【显式】TTR = 类符数 V / 形符数 N。它随 N 单调下降,这不是争议,是算术:新词只在第一次出现时增加 V,之后只增加 N。同一作者、同一语域、同一话题,取前 100 词 TTR≈0.7,取前 1000 词 ≈0.4,取前 10000 词 ≈0.2(英语书面语量级如此;具体数值随语料变,但单调性无例外)。所以「A 文本的 TTR 高于 B」这句话,在没说 N 的情况下没有真值——它是一个未定义表达式,不是一个粗略估计。
【隐式】学界的补救方案,本质上是三种不同的「消除 N」策略,而不是三种不同的「多样性」定义: - MATTR / STTR(Covington & McFall 2010):固定窗口 w,在文本上滑动取平均 → 把 N 钉死在 w。 - vocd-D(Malvern & Richards):拟合 TTR(N) 曲线,取曲线参数 D → 这就是有限尺寸标度拟合,只是没这么叫。 - MTLD(McCarthy 2005):找 TTR 跌破 0.72 的平均段长 → 把 N 钉死在「TTR 穿过阈值」的那个尺度上。
【细微】三种策略对 N 的处理方式不同,因此它们对同一语料给出的排名会分叉。当 w=50 时 MATTR 主要由高频词区(Zipf 头部)决定;MTLD 的 0.72 阈值把观测尺度推到几百词,那里由中频区决定;vocd-D 的 D 由整条曲线形状决定,而曲线形状由尾部决定。三个指数在三个不同的标度区间采样,然后被当成同一个量来比较。
【极难发现】更糟的是:这些指数彼此高度相关(文献里常报 r>0.9,McCarthy & Jarvis 2010 的验证研究是常被引用的证据),而这个高相关恰恰不是效度证据。理由是——它们都含有同一个混淆项 N 的单调变换。两个都随 N 单调的统计量,在任何长度方差大的语料上必然高相关,哪怕其中一个测的根本不是多样性。高相关在这里是共同原因的指纹,不是共同构念的指纹。(这是我的判断,不是那篇论文的结论;证伪判据见文末。)
【流程节点链路】TTR 的长度依赖从哪来:起点【Zipf 律:第 r 高频词的概率 ∝ r{-α}】→ 中间节点【样本量 N 下能被观测到的最稀类型频率约 1/N,对应秩 r_max ≈ N{1/α}】→ 中间节点【故类符数 V(N) ≈ N{1/α},即 Heaps 律 V ∝ Nβ,β=1/α】→ 中间节点【TTR(N) = V(N)/N ∝ N{β-1},是负指数幂函数,不是常数】→ 终点【任何在单一 N 上取值的「丰富度」都是 N{β-1} 的一个切片;跨 N 比较等于跨层级比较率】。
【隐式】这条链路有个尴尬的中间站:代入 α≈1(真实语料的 Zipf 指数常在 1.0–1.1),得 β≈0.9–1.0;但实测 Heaps 指数只有 0.5–0.6,差了近一倍。这个矛盾在文献里叫 Zipf–Heaps 不一致,标准解释是:Heaps 指数由 Zipf 分布的尾部决定,而尾部正是 Zipf 律失效的地方(有限词表、专名、形态派生、采样截断)。换句话说,决定「词汇增长多快」的不是那个漂亮的幂律,而是幂律崩塌的那个拐点。凡称定律必问其截断——这里截断就是主项。
【细微】由此得到一个极便宜的诊断法:把候选的「丰富度」指数画成随 N 变化的曲线;若曲线有系统斜率,它就不是常数,不能单点报告。这等价于做一次有限尺寸标度检验。它能一次性筛掉大部分伪指标,成本只是把语料重采样到若干长度。
【隐式】这套逻辑的普适性值得强调:任何「率」都隐含一个分母层级、一个聚合算子、一个支撑区间。TTR 的教训不是「语言学内部的技术问题」,而是——当测量算子本身依赖观测窗口时,跨窗口比较率就是类型错误,不是精度问题。文献计量里的「篇均被引」「h 指数」、网络科学里的「聚类系数」,都共享这个结构。
【可证伪判据】若我的「高相关=共同原因」判断成立,应观察到:在长度方差被控制后(例如把全部文本截到同一 N,或用 MATTR 固定 w),各指数之间的相关应显著下降。若控制 N 后相关仍 r>0.9,则我的解释被推翻,高相关是真实构念重叠。这是一个可跑的检验,不是修辞。
【值得辩论的问题】如果「词汇丰富度」根本不存在一个与 N 无关的极限值(即曲线在 N→∞ 时没有平台),那我们到底在测量什么?是文本的性质,还是「文本在某个格点尺寸下的投影」?我倾向于后者——而这意味着计量语言学的大部分指数,其实是标度指数(像临界指数),不是材料常数(像密度)。如果它们是标度指数,那么「哪篇文本更丰富」这个问题本身就需要先声明观测尺度才有意义。你同意吗?







0 Comments