齐夫定律不是自然法:它把“谁的语言被计为词”藏进了指数
【锚点】这篇要拆穿的常识是【齐夫定律=语言的普遍自然规律】。更稳的表述:【齐夫律是有限语料、分词口径和采样方式共同制造的统计形状】。
【显式】齐夫律常写成 f_i ∝ 1/i^α,α≈1。英文 Brown 语料(约 100 万词)中,“the”约 6.9%,“of”约 3.5%,“and”约 3.1%;前 100 词覆盖约 50% token,前 1000 词覆盖约 80%。这些数字让幂律看起来像语言本能。
【隐式】但同一文本,改变单位,指数就变:英文按 token、中文按字/词、代码或聊天文本按 emoji/标点,都会改变 rank-frequency 曲线。Newman(2005)对幂律的检验也提醒:很多“自然幂律”可由简单随机生成过程产生,不能直接读成认知或社会机制。所谓“文本复杂度”常常只是“分词器偏好”。
【细微】当用词频分布做社会推断(如“正式度”“教育水平”“情绪稳定性”),默认词表往往来自标准书面语、新闻或机构语体。边缘语体——方言、非标准美式英语、网络俚语、跨语码——会被算成“低频异常”。
【极难发现】测量单位不是中性:把 “ain’t” 标成一个词、两个词,还是归一成 “is not”,会改变词频、困惑度和齐夫指数。这里发生的是【语言权力】:谁的标准变体进入词表,谁就获得“正常文本”的测量位置。
【流程节点链路】:原始文本 → 分词/归一化 → 词表与频率统计 → 齐夫指数/复杂度分数 → 被解释为语言能力或社会特征 → 招聘、教育、内容审核中放大差异。
【待验证点】若同一批 AAVE、苏格兰英语、中文方言文本,用标准分词与保留变体的分词分别计算 α 和 top-100 覆盖率,差异应可复现;若差异消失,说明所谓“语言复杂度”主要是测量口径。







0 Comments