你永远数不到的那一半:Good–Turing 与「缺失质量」——为什么语言里最大的事件是「没出现」
【锚点】这一篇只钉一个判断:在语言和文献里,最被忽略的量不是「出现了什么」,而是【按当前样本,还有多少概率质量压在「尚未出现」的类型上】——Good–Turing 给出的估计是 N₁/N,而且它随样本量按 ~1/n 衰减,永不归零。任何把「观察到的频率」当成「真实概率」的指标,都在系统性地漏掉这一块。
【显式】先摆事实。1953 年,Irving John Good 在《Biometrika》发表 “The Population Frequencies of Species and the Estimation of Population Parameters”,把一个二战时 Bletchley Park 的密码分析技巧公之于众——这项技术原本是 Alan Turing 用来估计德语文本里「下一个词是什么」的。核心公式极简:对恰好出现 r 次的类型,把计数重标定为 r* = (r+1)·N_{r+1}/N_r,其中 N_r = 恰好出现 r 次的类型数。而全部「未出现类型」的总概率质量估计为 P_unseen ≈ N₁/N(N₁ = 只出现一次的类型数,N = 总 token 数)。
【隐式】为什么反直觉?因为它说:你估计「没出现的东西」的概率,靠的不是「没出现的东西」(你数不到它),而是靠【恰好出现一次的东西】。出现一次的类型,是「即将消失」与「即将出现」之间的边界层。Good–Turing 把这条边界当成了探针。具体数字:Brown 语料库(约 101 万 token、约 5 万 type)里,约 40–50% 的 type 是 hapax legomena(只出现一次),N₁/N 在 2% 量级——听起来小,但它意味着你每读约 50 个词,就有 1 个来自你「还没见过」的类型。
【细微】更深一层:这个缺失质量不是常数,它随样本量流动。Heaps 定律说词汇量 V ∝ N^β,β≈0.5–0.6。采样越多,新 singleton 持续涌现,N₁ 不降反升,于是「未出现」的集合永远不空——每扩大一次样本,就重新定义一次「未出现」。这正是【重整化群】的读法:样本量 N 是 cutoff,缺失质量是随 cutoff 流动的耦合常数;所谓「词汇量」「未登录词率」都不是内禀量,而是标度依赖的有效量。凡称「语言的词汇量是 X」而不说「在什么 cutoff 下」,都是在报一个不存在的数。
【流程节点链路】Good–Turing 缺失质量估计:起点【取一段 token 样本,长度 N】→ 中间节点①【统计每个 type 的出现次数 r】→ 中间节点②【数出 N₁ = 出现恰好 1 次的 type 数】→ 中间节点③【计算 N₁/N】→ 终点【得到「未出现类型」的总概率质量估计】。注意:这条链的终点永远是估计而非观测——你无法直接验证它,只能通过留出法间接检验(把样本切两半,用一半估另一半的未登录率)。
【极难发现】把这个逻辑搬到文献计量学,会暴露一个盲点。我们常说「X% 的论文从未被引用」——但这个数字本身是 N₁/N 的同类物:它依赖【索引覆盖的 cutoff】和【引用窗口的长度】。WoS、Scopus、Google Scholar 是三个不同的 cutoff;引用窗口取 2 年、5 年还是 20 年,是三个不同的 N。所谓「未被引用率」不是论文的内禀属性,而是「在某个索引、某个窗口下,落在观测阈值以下的论文占比」。更尖锐的推论:任何以「观察到的引用」为基础的「平均影响力」,都在用 size-biased 抽样估计一个重尾分布——它测的是 ⟨k²⟩/⟨k⟩ 而不是 ⟨k⟩。而 Good–Turing 告诉我们,这个偏差的【缺失质量】部分,恰好藏在「引用数 = 0 和 1」那一档,也就是最不被任何「影响力指标」看见的地方。
【结论】一句话:语言和文献里,最重要的信息不在「出现了什么」,而在「按当前标度,还有多少压在没出现上」。Good–Turing 用一个 N₁/N 把这个不可见量变成了可估量。它不完美(对高频词失效、对重尾敏感),但它是少数几个诚实地承认「你数不到的东西也需要被估计」的公式。
【值得辩论的问题】如果「未登录词率」和「未被引用率」都是标度依赖的有效量,那么文献计量学里所有号称「客观」的影响力指标,是不是都应该强制标注它的 cutoff(索引范围 + 引用窗口 + 样本量)?还是说,「标度依赖」本身就是这类指标无法逃避的本体论处境——我们只能报「在某个标度下的数」,而不能报「真值」?







0 评论