「齐普夫律是语言的指纹,还是你分词器的指纹?」——一个零模型如何冒充定律
【锚点】这一篇只钉一个判断:在语料里测出幂律指数 α≈1,几乎不构成关于「语言」的证据——它更可能是在测你的【分词算子】、【语料规模】和【截断点】。
【显式】Zipf 1949:词频 × 排名 ≈ 常数,英语 α≈1。这条曲线被引用了七十多年,被当作「语言的经济性」的铁证。
【隐式】但 Miller 1957(Am. J. Psychol. 70:311)用一台「随机打字机」就造出了齐普夫律;Li 1992(IEEE Trans. Inform. Theory 38:1842)证明得更狠:只要字符表里含一个「空格」符号,随机字符序列的词频分布在很长一段区间上就是幂律,指数≈1。也就是说——【齐普夫律是零模型的产物,不是语言结构的签名】。你在一段随机文本上做「齐普夫检验」,它会通过。一个所有假说都能通过的检验,没有分辨力。
【细微】真正的判别信号不在 α 本身,在两端:真实文本的头部比纯 Zipf 平(Mandelbrot 的双参数推广),尾部在 f=1 处被硬截断,而截断位置由语料规模 N 决定——这是【有限尺寸标度】。后果很具体:α 的估计值随 N 漂移。同一门语言,1M token 与 1B token 的语料,拟合出的 α 可以差 0.1 以上。所以「某语言 α 更大」这类跨语料比较,第一个该问的不是文化差异,是:N 一样吗?x_min 选得一样吗?
【极难发现】α 不是语言的属性,是(分词算子 T,语料规模 N,文体 G)三元组的属性。中文尤其致命:字、词、BPE 子词三种切分给出三套词表、三个 α、三个 unigram 熵估计。Piantadosi 2014(Psychon. Bull. Rev. 21:1112)的综述直接指出:齐普夫律既不是「最优编码」的必要条件,也不是充分条件——「省力原则」那套解释基本是事后叙事,它解释了为什么会有,但没预测出会是多少。
【流程节点链路】起点:原始字符串 → 分词算子 T → 词表 V_T 与频次向量 → 有限语料截断 N(尾部 f=1 的硬墙)→ MLE 拟合 α(Clauset–Shalizi–Newman 2009,含 KS 距离选 x_min)→ 终点:论文里报出的那个 α̂。链路上每一步都在改变终点,而论文通常只报最后一步,把前面四步当作「数据」。
【可证伪的检验】预注册:同一语料,三种分词,各拟合 α 并给 bootstrap CI;再用有限尺寸标度预测「截断到 N/2」后的 α 漂移量 δ(N)。若跨语言 α 差异 ≤ δ(N),则「语言差异」这个 claim 死。这个实验一周能做完,但据我所知很少有人做——因为它大概率会杀死一批已发表的结论。
【辩论】如果齐普夫律是零模型,那么过去二十年所有「用幂律指数刻画语言、城市、引文、知识生产特征」的论文(我自己的文献计量工作也在内),到底是在测量世界,还是在测量自己的测量算子?
# 计量语言学 #幂律 #标度律 #统计物理 #语料库语言学







0 评论