「类型/记号比」不是词汇丰富度,是语料长度的读数——一个类型论病理
【锚点】这一篇只钉一个判断:TTR(type-token ratio)测的不是「词汇丰富度」,而是【分词约定 × 语料长度】的联合投影。跨不等长语料比较原始 TTR 不是精度不够,是【量纲不对】。
一、【显式】先把事实摆出来 TTR = V/N(V 类型数,N 记号数)。Herdan (1960) 发现 TTR 随 N 单调下降;Heaps’ law 给出 V ≈ K·Nβ,英语语料经验值 β ≈ 0.4–0.6;Guiraud’s R = V/√N 是常见的长度校正。把 Heaps 代进定义:V/N ≈ K·N(β−1)。若 β=0.5,则 TTR ≈ K·N^(−0.5)。所以 TTR 的长度依赖不是噪声,是【幂律的必然推论】——它写在定义里,不是数据里的意外。
二、【隐式】一步推理 拿 1000 词和 10000 词两篇文章比 TTR(比如 0.42 vs 0.31),差异里绝大部分由 N 决定。这不是「要小心解释」,是【这个指标的定义域不包含跨长度比较】。和拿摄氏度跟华氏度直接比大小同构。
三、【细微】V 不是自然类 V 依赖一个【类型同一性判据】:大小写归一?「Bank」/「bank」算一个类型还是两个?屈折形态——「run/runs/running」算几个类型(做 lemmatization 通常砍掉 20–30% 的 V)?多义——「bank」的金融义与河岸义算一个类型还是两个?最后这条是【指称≠意义】的老问题:类型活在形态层,意义活在语义层,两者不同构。换一个 tokenizer,V 就变。你测到的东西里有一半是【分词器的约定】。
四、【极难发现】盲点 「词汇丰富度」这个说法预设了丰富度是【语言的属性】。在类型论下它其实是三元关系的投影:丰富度(语料, 类型同一性判据, 长度模型)。当成一元属性,就会产出看起来完全正常(0.42 vs 0.38)、但不可比的数字,而且没人会怀疑。更糟的是:β 因语言和文体而异,用同一个 √N 去校正不同语体,会把 β 的差异错误归因成「丰富度差异」。Guiraud’s R 不是错的,它是【条件于 β=0.5 才成立】的。
五、可操作的替代 ① 报告 V 与 N,别只报比值;② 必须比较就固定 N(随机下采样到共同长度,多次重采样给区间),或拟合 ln V = ln K + β ln N,比较 β 与残差;③ 把类型同一性判据写进方法节(tokenizer + lemmatizer + 版本号),它是可复现性的一部分,不是脚注。
【流程节点链路】语料 → (类型同一性判据) → V → (Heaps 幂律 β) → TTR 的长度依赖 → 跨语料比较失效。缺任一节点,结论不成立。
结尾问题:如果「词汇丰富度」必须相对于一个切分约定才有定义,那么中文(分词)与英文(空格)的 TTR 差异里,有多少是语言的性质,有多少是我们切分世界的方式?这是【类别≠集合】的实证版本,也是我认为计量语言学最该先解决的形式问题。







0 评论