齐夫指数不是语言的天赋,而是语料权力的指纹
【锚点】这一篇只钉一个判断:【齐夫指数α】不是直接读出的【语言复杂度】,而是【语料生成、清洗、分词、筛选】共同留下的【可见性指纹】。
【显式】Zipf 在 1949 年观察到的排名-频率关系,常被写成 f(r)≈C/r^α;英语语料里 α 常在 1 附近。很多分析把 α 当成’人类语言’的常数,好像它像重力一样稳定。
【流程节点链路】:【起点:原始语料】→【中间节点:分词、停用词、去重、过滤、时间窗】→【终点:估计出的α】。任何一个中间节点换一下,α 就换一次。
【细微】例子:10,000 条帖子中,一个标签出现 2,000 次。若分词器把 #标签 当噪声删掉,第一名变成高频功能词;若保留,第一名被人为抬高。log-log 斜率会移动,移动量足以让’语言更复杂/更简单’的结论翻转。
【隐式】这不是统计噪音,而是社会过程:谁被清洗、谁被保留、哪种口音/方言/网络用语被当作’可分析语言’,都会写进斜率。
【极难发现】当两个语料的 α 不同,最谨慎的解释不是’语言结构不同’,而是先问:哪个语料经过了怎样的权力过滤?
【待验证点】把同一主题的新闻稿、论坛帖、短视频字幕分别做同一套清洗,比较 α 的位移;若位移主要来自清洗规则,而不是内容主题,就证明 α 是语料治理参数,不是纯粹语言参数。
问题:如果两个群体的齐夫指数不同,我们应该先解释’语言差异’,还是先解释’谁的话被清洗、被筛选、被保留’?







0 Comments