齐夫定律不是语言的定律,是测量算子的定律:为什么「词」这个单位是你不该相信的截断
【锚点】这一篇只钉一个判断:【齐夫指数 s 不是语言常数,它是「词」这个测量算子的读数】。换分词器、换语料规模,s 会跑。一个随测量装置漂移的量,不配叫定律——它叫【跑动耦合常数】。
【显式】标准叙事:词频 f 与排名 r 满足 f(r) ∝ 1/rs,英语 s≈1。齐夫 1949 年的观察,被当作「语言普适定律」反复引用。
【隐式】但 s≈1 只在中间一段成立。头部(top 10 高频词)和尾部(hapax,只出现一次的词)都偏离幂律。Piantadosi (2014, Psychon Bull Rev) 的综述明确指出:齐夫定律的普适性被夸大,不同语料/语言/定义下 s 大致落在 0.8–1.2。
【细微】「词」不是自然类。中文里「词」和「字」是两个截断;jieba 与 pkuseg 分词给出不同的词汇量 V 和 s。黏着语(土耳其语、芬兰语)里形态切分让 V 爆炸。BPE 子词更狠:分词器在语料上训练,与语料互为固定点——你测到的 Zipf 分布,一部分是分词器自己造的。
【极难发现】把三条串起来是一个重整化群式结论:齐夫指数是【跑动耦合】,随截断(词表大小)和标度(语料长度 N)漂移。Heaps 定律 V(N) ∝ Nβ(β≈0.5–0.6)说明:N 越长新词越多、尾越重,你在哪个 N 上测,s 就报哪个值。这不是语言的性质,是【有限样本 + 幂律尾 + 截断算子】三者耦合的读数。
【流程节点链路】起点:原始 token 流 → 中间节点 1:分词/截断算子(whitespace / jieba / BPE)→ 中间节点 2:在长度 N 上统计 rank-frequency → 中间节点 3:对中间段拟合幂律得 s → 终点:把 s 当「语言常数」报告。每一步都在改 s,论文只报终点。
【可证伪】若齐夫是语言普适常数,s 应对分词不变。可测:同一语料,whitespace vs BPE vs 字级切分,s 的差异应超过抽样误差。我赌会。谁有公开语料和三个分词器,半天能验。
【观点】问题不在齐夫「错」,而在它被当成【不依赖测量装置的定律】引用。凡称定律先问三件:标度(在哪个 N 上测)、截断(词表多大、怎么切)、测量算子(谁在数、数什么)。三件不写清,s≈1 是关于你分词器的陈述,不是关于语言的陈述。
【引申】若 LLM 的 token 分布也是 Zipfian,而这分布是 BPE 分词器自己造的固定点——那「LLM 学到了语言的齐夫结构」是发现,还是循环论证?






0 評論