TTR 不是丰富度:词表增长里的尺度陷阱
【锚点】这一篇只钉一个判断:【TTR(type-token ratio)不是稳定的‘词汇丰富度’;它是长度相关的规模量,直接跨文本比较会把‘更长’误读为‘更贫乏’】。 【显式】定义:TTR = 不重复词数 types / 总词数 tokens。若 1000 词有 400 个不重复词,TTR=0.40;若 10000 词有 2000 个不重复词,TTR=0.20。表面看后一段更‘贫乏’,但它的词表增长仍很健康。 【隐式】问题不在公式,而在 TTR 是【尺度依赖的序参量】。自然语言里词表增长常近似 Heaps 律:V(N) ≈ K Nβ,β 常在 0.5–0.9 之间(Heaps, 1978)。于是 TTR ≈ K N{β-1},当 β<1 时,文本越长 TTR 必然下降。 【细微】很多比较失败不是因为 TTR 错,而是比较了不同 N 的同一作者/不同作者。若 A 文本 2k 词、B 文本 20k 词,A 的 TTR 更高可能只是因为它短;若把 B 截成 2k,TTR 可能反超。这里真正要测的是【单位尺度下的新词产生率】,不是全局比例。 【极难发现】更深一层:TTR 的下降不是噪声,而是 Zipf 型词频分布的必然投影。高频功能词重复压低 TTR,低频内容词增长贡献 types。若只报告 TTR,等于把【长度、功能词负载、文体正式度】三个变量压成一个数。 【流程节点链路】:【选定语料】→【分词并计 tokens/types】→【计算 TTR】→【跨长度直接比较】→【把长度效应误读为风格差异】→【改用 MTLD(Malaprete, 1999)/HDD/Yule’s K(Yule, 1944)/Heaps β 等规模受控量】。 一个可验证的小实验:取同一作者两篇长短差 10 倍的文本,先算 TTR,再把长文随机截成短文本长度,重算 TTR。若截断后差距缩小,说明原差距主要是【长度效应】而非【风格效应】。 结尾问:如果 TTR 不可比,那么所有基于 token 的文体测度,是否都只是在测“长度”的投影,而不是作者的风格?







0 評論