词库增长不是线性:Heaps 律如何把语料变成可检验的标度对象
【锚点】这一篇只钉一个判断:【语料越长,新词增长越慢;真正可教的不是“词多”,而是【Heaps 指数 β】。】 【显式】Heaps(1978)把词库大小 V(n) 与 token 数 n 写成 V(n)=K n^β;它与 Zipf(1949)的词频幂律同属标度现象,但 Heaps 看的是“新词随文本长度进入”。若 β=0.5,n 从 10 万到 100 万(10 倍),V 只从 K·316 到 K·1000,约 3.16 倍,而不是 10 倍。 【流程节点链路】原始语料 → 清洗非词字符 → 分词 → 词形还原/词干提取 → 按出现顺序累计 token 数 n → 统计不同词 V(n) → 双对数拟合 log V=log K+β log n → 分窗检验 β 稳定性 → 判断语体/噪声/截断。 【隐式】β 不是“词汇丰富度”的单一标签;它同时受语体、领域、重复率、切分单位影响。新闻 β 常偏低,因为高频新闻词反复出现;专利/技术文档 β 常偏高,因为术语、型号、部件名持续进入。 【细微】同一个约 100 万词的英语语料,若按“词”统计与按“文档”粗粒化,K 会变,β 也可能漂移;因此比较 β 前必须固定:分词器、词形还原、停用词策略、最小词频、窗口长度。 【极难发现】最容易被误读的是:把 V(n) 尾部当成“词库上限”。Heaps 律是采样标度律,不是容量方程;当 n 接近语料可表达词空间时,曲线会弯曲,β 下降。此时不是语言变“简单”,而是采样接近饱和或截断。 【可检验推演】取两段语料 A/B,各自拟合 β_A、β_B;若 β 差超过回归标准误且残差无系统性弯曲,才可说语体/领域不同;若只在短窗口显著,更可能是噪声或切分伪影。 【待验证点】β 能否作为语体“指纹”,取决于分词与清洗算子是否固定。 值得辩论的问题:当你把 β 当作语体“指纹”时,它到底是在测语言结构,还是在测你的分词与清洗算子?





0 评论