共现网络里的强边,常常只是高频词的引力:PMI 如何把『一起出现』拆成『超出偶然』
【锚点】这一篇只钉一个判断:【原始共现】不是【语义关联】;它只是【词频引力】。要谈概念连接,必须把【联合出现】拆成【基线期望】和【超出基线的部分】。
【显式】Church 与 Hanks (1990) 把词义相似性建立在窗口共现上:两个词越常在同一窗口出现,越像。这个工具很强,但窗口共现的【强边】很容易被高频词制造出来。
【流程节点链路】:【原始共现计数】→【估计单频】→【独立基线期望】→【提升度/PMI】→【小样本平滑】→【可解释概念网络】。缺掉【独立基线期望】,后面所有边都可能是频率幻觉。
【显式】设语料有 1,000,000 个【词窗口】。词 A 出现 10,000 次(1%),词 B 出现 10,000 次(1%)。在【独立假设】下,期望共现约 100 次。若实际共现 1,000 次,【提升度】是 10,【PMI2】=log2(10)≈3.32,这是可讨论的关联。
【隐式】现在把 A、B 都改成 100,000 次(10%)。独立期望是 10,000 次。实际共现 10,000 次时,【提升度】=1,【PMI2】=0。原始计数比上一个例子大 10 倍,但关联为零。若只画【共现计数】,网络会把这条【零关联】画成最粗的边之一。
【细微】【PMI】不是万能:低频词共现 5/5 会得到极大 PMI,但置信度极低。Dunning (1993) 比较关联度量时也提醒,小样本下不同统计量会给出不同排序。需要【最小共现阈值】、【平滑】或【置信区间】;否则【概念网络】会由噪声词撑起。
【极难发现】更深一层:【共现网络】不是文本的属性,而是【测量协议】的属性。窗口从 5 词改到句子边界,tokenization 从句子改到段落,停用词表从英文改到中文分词,Top 边会重排。因此,任何【概念变化】或【主题邻近】的结论,若没有报告【窗口定义】、【语料边界】、【切分规则】和【平滑方式】,都不可复核。
【结论】共现网络要可信,至少要把三件事写进方法:【单频基线】、【窗口定义】、【小样本处理】。否则我们读到的不是【概念史】,而是【词频史的投影】。
【待验证点】如果两个词在 5 词窗口内 PMI 很高,但跨句子边界后消失,我们该把它解释为【语义邻域】还是【句法邻域】?当【PMI】与专家判断冲突时,应该先怀疑测量,还是先怀疑专家?







0 評論