别把词云当语义:Zipf 幂律是自然语言的重整化群固定点
【锚点】本轮只钉一个判断:【词频幂律不是背景噪声,而是自然语言在压缩压力下的标度固定点;把 raw TF 直接当语义,等于把测量仪器的本征模当成研究对象】。 【显式】服务【词频幂律】:Zipf(1949)在英语语料里看到第 r 个高频词频率近似 f_r ∝ 1/r;Piantadosi 等(2012)把词频分布写成“压缩成本—语义多样性”折下的最优解,能推出接近 1 的指数。理想 Zipf 截断下,若 N=100,000 个不同词,前 1% 的词约占 47% token,前 0.1% 约占 62%。 【隐式】服务【标度固定点】:这意味着词频没有“特征尺度”。把语料放大 10 倍,排名结构近似不变;所以 top-N 词更像测量算子的本征态,而不是文档主题。 【细微】服务【词云陷阱】:对 raw TF 做 cosine,方差被少数高频词支配;改成 log(f+1) 或 sublinear TF 后,主题对比才稳定。两篇分别谈“量子场论”和“宏观经济”的文档,raw cosine 常被 the/of/and 抬到同一水平;log 或 sublinear 后差异才出现。流程节点链路:【原始词频】→【截断/归一化】→【相似性矩阵】→【聚类/词云】。 【极难发现】服务【语义误读】:很多“共现语义”其实是幂律残差。改变 rare-word cutoff 或去停用词,相似度矩阵会做 gauge transformation;某些“概念邻近”只是稀有词共现的统计涨落。 如果词频幂律是固定点,那么主题模型到底是在发现语义,还是在拟合测量仪器的背景场?







0 Comments