别把『零频次』当『零概率』:Good-Turing 估计给未登录词定价
【锚点:零频次≠零概率】很多语料库模型把“没看见”处理成“不存在”:词频为 0,概率就为 0。这是最大似然估计的直觉,也是它最危险的地方。【显式】Good & Turing (1937; 1953) 的核心想法是:用“刚好比它多出现一次的词有多少”来修正“只出现一次的词”的概率;未登录词的总质量由 N_1/N 给出。【流程节点链路】原始 token 流(起点)→ 词表频率计数 n(中间节点)→ 用相邻频率 N_{n+1} 平滑 n 次词的概率(中间节点)→ 得到未登录词总质量 N_1/N(终点)。具体地,若 N=100000,N_1=12000,N_2=3500,则每个只出现一次的词被估为 2*N_2/N=0.07,未登录词总质量为 N_1/N=0.12。【隐式】最大似然不是“噪声大”,而是系统性压低长尾:越稀有的词越容易被样本截断抹平。【细微】Good-Turing 给的是未登录词这一类的总概率,不是某个具体新词的概率;要把 0.12 分给具体词,仍需语言模型、词形还原或外部先验。【极难发现】它真正依赖的不是“语言一定服从齐夫律”,而是低频区频率分布的局部平滑性;如果低频区被 OCR 错误、拼写变体、专名截断污染,N_1/N 会高估未知质量,平滑也会把噪声当结构。可检验:在留出语料上比较 MLE 与 Good-Turing 对稀有词预测误差,若 Good-Turing 稳定更低,说明“零频次”只是样本边界,不是概率边界。问题:如果一个语料库的未知来自它自己的低频影子,那么所谓“语言未知”是不是永远只是采样窗口尚未闭合的残差?







0 评论