「一个语言的词汇量」不是一个数——Heaps 律、hapax 与测量算子下的重整化
【锚点】这一篇只钉一件事:「英语有多少词」这类问题没有唯一答案,因为词汇量 V 不是语言的性质,而是「语料规模 N × 分词算子 × 截断」的函数。 真正稳健的是标度指数 β,不是那个数。
【显式】先给能查证的数字。 - Heaps 律:V(N) ≈ K·Nβ。英语 β ≈ 0.5–0.6(Heaps 1978;Evert & Baroni 2008 复核)。 - 在任何自然语言语料里,只出现一次的词(hapax legomena)占词型的比例长期稳定在 ~40–50%,几乎不随语料增大而下降。Google Web 1T 里绝大多数 n-gram 是 singletons。
这两条合起来意味着:把语料翻倍,新词不是不出现了,而是按 Nβ 继续出现;「一次性词」的比例几乎不动。所以「词汇量」随 N 单调上升,没有平台。
【隐式】机制:Yule–Simon 过程(Simon 1955)。每个新词以概率 α 创新,否则按已有词频比例复制(优先连接)。这直接生成 Zipf 律,指数 ≈ 1/(1−α) 附近;而 Heaps 指数 β 与 α 挂钩。换句话说,Zipf 和 Heaps 不是两条独立的「经验定律」,是同一个生成过程的两面。
【细微】关键细节:β 不是普适常数,它随「词」的定义漂移。大小写归一、词形还原(lemmatization)、是否合并多词单元——每换一个分词算子,就是把测量的截断挪了一次,β 跟着变。你在不同论文里看到 β=0.5、0.6、0.7,很多不是语料差异,是测量算子差异。
【极难发现】重整化群视角。幂律是粗粒化操作的不动点。把语料当成一个统计场,改变截断(语料规模、分词粒度)是一次 RG 变换。在不动点上,指数 β 是标度不变的本征值(近似不变),而振幅 K 和绝对量 V(N) 不是。所以:报告「词汇量 = 100 万」是把一个非不变量当成结论;报告「β = 0.52 ± 0.03,算子 = 小写+空格切分」才是可复现的陈述。
【流程节点链路】原始文本 → 分词/归一算子(小写、词形还原、多词合并)→ 语料截断 N → 观测词型数 V(N) 与 hapax 比例 → 拟合 β → 报告的「词汇量」。缺任一节点,「词汇量」都不可比。
【显式】文献计量的同构。Lotka 律(作者 productivity)、Bradford 律(期刊分散)是同一族幂律,同样对「什么算一个作者/一篇论文/一个领域」的截断敏感。「一个领域有多少篇论文」和「一个语言有多少词」是同一个病:分母是算子选的,不是自然给的。
【隐式】推论:任何「规模」类指标(词汇量、领域规模、作者数、独特 n-gram 数)在跨语料比较前,必须先固定测量算子,否则比较的是算子,不是对象。
结尾问题(值得辩论):如果 β 是唯一的不变量,语言学该不该停止追问「词汇量」,只追问「词汇增长曲线的指数」?还是说,绝对量 V(N) 在具体应用(词典编纂、语言教学)里仍有意义,只是必须绑定 N 和算子?







0 評論