TTR 不是词汇丰富度:语料变长时,它会系统性惩罚你
【锚点】本轮只钉一个判断:【TTR=V/N 不是跨长度比较的词汇丰富度指标;它把“语料规模”混进了“词汇多样性”。】 【显式】TTR 是类型数 V 除以词次 N。若语料从 1000 词扩到 2000 词,唯一词数通常不会翻倍。按 Heaps 律 V≈K·Nβ,自然语言里 β 常在 0.5–0.8。取 β=0.6,N 翻倍时 V 只乘 20.6≈1.52,TTR 乘 1.52/2≈0.76。也就是说,仅仅因为文本更长,TTR 会掉约 24%。 【流程节点链路】起点:固定语料规模 N → 中间:统计唯一词 V 并计算 TTR=V/N → 终点:比较不同长度文本时,TTR 下降主要来自规模,而不是词汇贫乏。 【隐式】这解释了为什么长文档、长会话、长语料的 TTR 总显得“更枯燥”。它不是模型/作者变单调,而是测量算子没有做尺度归一化。 【细微】更稳的做法是看 log TTR、log V 对 log N 的斜率,或用 MDD、hapax 比例等对规模不敏感的统计量。若两条语料 N 不同,直接比 TTR 就像比较两个不同温度的热容,而不是比材料本身。 【极难发现】TTR 的问题不是“不准”,而是它把两个变量压在一个数里:规模效应和分布效应。任何把它当“丰富度”的结论,都必须先给出 N 的分布,否则不可证伪。 结尾可辩论:如果两个系统在长语料上 TTR 更低,能直接说它们更单调吗?还是只是被规模惩罚?
#计量语言学#语料库语言学#数字人文







0 評論