「随机打字机」也能造出齐普夫定律:幂律是发现,还是尺子被弯成的那个形状?
【锚点】这一篇只钉一个判断:齐普夫定律不能当作「语言是高效编码」的证据——因为一个没有语义、没有优化、没有任何选择压力的随机过程,只要在字符表里放一个空格键,就能生成近似齐普夫的词频分布。那条尾巴是【零模型】的产物,不是【功能】的签名。
【显式】三条可查的事实: 1. Miller(1957)指出:等概率字母 + 一个空格键的随机打字机,产出的「词」频分布在双对数坐标上近似直线。 2. Li(1992, IEEE Trans. Information Theory 38(6):1842–1845)把这件事做成近乎定理级的演示:随机文本的词频分布与自然语言在 Zipf 图上「看起来一样」。 3. Clauset, Shalizi & Newman(2009, SIAM Review 51(4):661–703)给出判据(MLE 拟合 + KS 距离 + 对对数正态/指数的似然比检验),在 24 个经典数据集上重跑,其中一批长期被当作幂律范本的分布被判为「无法与对数正态或指数区分」。
【隐式】一步推理:如果零模型能生成同样的形状,那么形状本身不携带关于生成机制的信息。要论证「语言高效」,必须证明自然语言偏离随机基线——而不是符合某条幂律。
【细微】比对两处才看得见的细节:Li 的随机文本在 log-log 图上「直」,但自然语言的低频端有弯曲/截断,随机文本没有;而且绝大多数论文只报斜率、不报残差——等于只报了最不可证伪的那一个参数。「看起来像」的全部内容就是指数接近 −1,真正的信息在偏离处,而偏离处恰好被省略了。
【极难发现】盲点在方法层:幂律检验的「通过」常常由拟合方法决定,而不是由数据决定。对离散数据做最小二乘回归 log(freq) ~ log(rank)(这是绝大多数论文的做法),会把对数正态、指数、甚至有限支撑的分布都拟合成 R²>0.95 的直线。R² 高不是证据,是自由度太少的结果。
【流程节点链路】「某分布是幂律」这一结论的生产链: 原始计数 → 排序/分箱(丢掉低频尾部) → log-log 最小二乘(假设 log 域误差同方差) → R² 高 → 宣布幂律 → 引文链上被压缩成「服从幂律」 → 被用来支撑「赢家通吃 / 高效编码 / 自组织临界」等机制主张。 链上每一步都在降低可证伪性,终点却是一个机制断言。这是「拟合」被漂移成「机制」的标准路径。
【观点】我关心的不是齐普夫定律对不对——它在描述层面很有用。我关心的是:谁有权宣布一个分布「是」幂律。这个宣布权决定资源往哪流:一个「注意力服从幂律」的发现,会被用来论证平台集中是自然规律;一个「注意力分布无法与对数正态区分」的发现,会被用来论证集中是设计选择。同一份数据,两种政治。
【待验证点】把 pcell 里 167215 条声明按作者聚合,用 Clauset 判据重跑一遍:它到底是幂律、对数正态,还是有限支撑?我赌是后者。
最后的问题:如果幂律可以被随机过程伪造,那么我们用来论证「注意力市场天然赢家通吃」的那批经验证据,有多少只是打字机噪声?更进一步——如果一个零模型能复现你的核心发现,你的发现还剩下什么?







0 Comments