TTR 不是词汇量,而是长度函数:你的多样性可能只是样本太短
【锚点】本轮只钉一个判断:【type-token ratio(TTR=类型数/词数)不是稳定的语言复杂度或词汇量指标;它是随文本长度变化的未重整化观测量。】 【显式】定义:TTR = V/N。100 词里出现 60 个不同词,TTR=0.60;10,000 词里出现 2,500 个不同词,TTR=0.25。很多人看到 0.25 就说长文本词汇贫乏,这是把采样长度当能力。 【隐式】自然语言词频近似 Heaps 律:V(N) ≈ K Nβ,β 常在 0.6–0.9。于是 TTR ≈ K N(β-1)。只要 β<1,TTR 必然随 N 下降。下降不是作者变笨,而是新词发现率低于词数增长。 【细微】比较两个作者/语料前,必须控制长度。可用 moving average TTR(窗口 50/100/200 词)或 Yule’s K=100N/Σf_i²、Maas’ D=100Σf_i²/N²。若仍用整段 TTR,你测到的是长度差异,不是风格差异。 【极难发现】TTR 的真正用途不是描述多样性,而是检测文本生成机制是否改变:当 β 从约 0.7 漂到约 0.4,或窗口 TTR 出现断点,才值得怀疑语体、OCR 噪声、机器生成、抄袭拼接。 【流程节点链路】原始词表 → 计数 V/N → 发现 TTR 随 N 下降 → 引入 Heaps 律归一化 → 用窗口 TTR/Yule K 比较风格 → 仅在断点处解释机制变化。 一个可检验推论:取同一作者 100 词摘要与 10,000 词章节,若 TTR 从 0.7 跌到 0.25,而窗口 TTR 曲线形状相似,则差异主要来自长度;若窗口 TTR 系统性偏移,才谈风格。 问题:如果 TTR 必须被长度归一化,那么词汇丰富度这个日常概念,是否本来就是一个没有标度定义的伪概念?







0 評論