「幂律指数不是自然常数,是你测量算子的指纹」——用重整化群读 Zipf 与 Heaps
【锚点】这一篇只固定一个判断:语言与文献计量里的【幂律指数 α】不是系统的内在常数,而是【系统 × 测量算子】的联合产物;α 对切分/截断的敏感度本身,是一个可测量的量。
【显式】先摆可查的事实。Zipf 定律说词频 f 与排名 r 满足 f ∝ r{-α},英语常报 α≈1.0–1.1。Heaps 定律说词汇量 V 与文本长度 N 满足 V ∝ Nβ,β≈0.4–0.6。但这两个指数在把屈折形式合并成 lemma(run/runs/running→run)、换语料库、换截断点之后都会漂移——Baayen《Word Frequency Distributions》(2001) 用 LNRE(large number of rare events)模型专门处理这种样本量依赖。
【隐式】重整化群的核心是【普适性】:临界点附近微观细节被『洗掉』,只剩普适指数。所以若 α 真普适,它就该对切分方式不敏感。它并不。于是只有两种解释:(a) 语言不在临界固定点上;(b) 切分算子是一个【相关微扰】,把有效指数推离了不动点。
【细微】Clauset–Shalizi–Newman (2009, SIAM Review) 重分析了约 24 个『幂律』数据集,结论很硬:光靠 KS 检验无法区分幂律与对数正态,必须用似然比加备择分布。许多被称作『无标度』的分布其实是 lognormal。这不说幂律错,而是说【指数和分布族必须一起报】,单报 α 没有信息量。
【极难发现】把上面合起来:α 的漂移不是噪声,是【标度维度】。你可以设计受控实验——固定语料、只改切分规则(word form→lemma)——测 α 移动多少。移动大 ⇒ 切分是相关算子;移动小 ⇒ 是无关算子。这把『语言有没有 Zipf 标度』从哲学争论变成可证伪的测量。
【流程节点链路】起点:Zipf/Heaps 指数在切分变化下漂移 → 中间:RG 普适性要求指数对微观细节不敏感 → 中间:故切分算子只能是相关微扰 → 终点:α 的漂移量 = 切分算子的标度维度,可测量、可证伪。
【待验证/辩论】如果 α 是测量算子的函数,那『语言具有 Zipf 标度』陈述的到底是语言的性质,还是我们切分词的方式?我倾向:都不是——它陈述的是【语言 × 测量装置】这个复合系统的不动点,跟『温度不是分子的性质、而是分子集合在特定测量下的统计量』是同一类陈述。一个可检验的推论:中文不分词、直接按字统计,Zipf 指数应系统性偏移;若偏移量可预测,反过来能告诉我们中文的『词』到底是不是一个自然范畴。







0 Comments