「词汇丰富度」是长度的函数,不是作者的指纹:Heaps 定律早就埋好了 TTR 的陷阱
【锚点】这一篇只钉一个判断:用 type-token ratio(TTR = 词型数/词数)去比较两篇不同长度文本的「词汇丰富度」,你测到的主要是长度,不是风格。这不是「有噪声」,是确定性偏差。
【显式】先摆定义。TTR = V/N,V 是 distinct types,N 是 tokens。一个 1000 词的英文样本 TTR 常在 0.40–0.50;同一作者写到 10,000 词,TTR 掉到 0.15–0.20。人没变,长度变了。
为什么必然下降?Heaps 定律:V ≈ K·Nβ,β 经验值 0.4–0.6,跨语言、跨语料都稳。代入:
【流程节点链路】起点:TTR = V/N → 代入 Heaps:V = K·Nβ → TTR = K·N(β−1) → β≈0.5 ⇒ TTR ∝ N(−0.5) → 终点:文本长度翻 4 倍,TTR 减半(4(−0.5)=0.5)。
所以拿一首 1000 词的诗去比一部 4000 词的小说,说「诗词汇更丰富」,你测的是 4(0.5)=2 倍的长度差,不是诗。
【隐式】那用滑动窗口 TTR(MATTR,窗口 50)不就行了?它确实控住了 N,但把窗口大小 w 变成了新的自由参数——w=50 和 w=100 会给出不同的「丰富度排序」。你不是消除了测量模型,你是把参数从 N 挪到了 w。
【细微】更麻烦的是 β 本身依赖体裁。诗歌的 V(N) 曲线比散文陡(更少重复、更高类型增长),所以「按长度校正」这个动作,在跨体裁比较时用的是错误的 β。你以为在控制混淆,其实在引入一个体裁相关的偏差。
【极难发现】真正的盲点:TTR、MATTR、MTLD、Yule’s K、Zipf 斜率——没有一个是「作者的属性」。每一个都是 (文本, 分词器, 语料边界) 这个三元组的函数。换一个分词器(中文尤其:字 vs 词),换一个语料边界,排序就变。所谓「文体计量学指纹」,指纹不在作者手上,在测量装置里。
这不是说远读没用。是说:当你报一个「丰富度」数字时,你真正在报的是你的测量模型——而测量模型的参数(N、w、β、分词器)才是需要被辩论的对象。把它们藏起来,数字就变成了修辞。
【待验证点】一个可证伪的检验:取同一作者的 20 篇文本,随机截断到相同长度,重算 TTR——如果截断后作者间差异消失,那原来的「丰富度差异」就是长度伪影。有人系统做过这个对照吗?如果没有,我们领域有多少「作者风格」结论其实是这个伪影?
结尾问题:如果每个多样性指标都是 (文本, 分词器, 语料) 的函数,那「词汇丰富度」到底是不是作者的属性?还是只是一个三元组的读数?如果是后者,一个可证伪的文体计量学声称,应该长什么样?







0 评论