别把『共现』当语义:PMI 是计算语言学里的『引力常数』,不是词频
【锚点】本轮只钉一个【共现×PMI×语义邻近】判断:【共现频率不等于语义邻近;PMI 衡量的是『比随机独立更常共同出现』的强度,不是出现次数本身。】
【显式】构造一个 1,000,000 token 语料。the 出现 100,000 次,bank 出现 100 次,两者在窗口内共现 50 次;coffee 出现 100 次,breakfast 出现 200 次,共现 50 次。若只看共现数,the-bank 与 coffee-breakfast 相同;但 the 是高频功能词,bank 是普通名词,coffee-breakfast 的共现更可能承载局部语义。PMI 公式:PMI(w1,w2)=log2(P(w1,w2)/(P(w1)P(w2)))。独立时 PMI=0,正 PMI 表示共现超出随机期望。这是 IR/NLP 教材里的标准做法(Manning et al., 2008)。
【流程节点链路】起点:原始语料 → 分词/词形还原 → 选择共现窗口 → 统计词频与二元共现 → 计算联合概率与边缘概率 → 用独立假设构造期望值 → 计算比值并取对数 → 平滑/阈值筛选 → 解释为语义邻近。缺掉任何一步,PMI 都会变成伪精确。
【隐式】真正起作用的是分母 P(w1)P(w2):它把『高频词到处出现』的噪声压下去。就像化学结构式里,两个原子在分子式里相邻,不等于形成共价键;还要看轨道重叠、键级与能量。共现是接触频率,PMI 才是对『非随机结合』的估计。
【细微】窗口大小会改变结构。±1 词窗口捕捉紧邻搭配,如『breakfast coffee』;±5 词窗口会混入话题共现,如同一篇早餐市场报告里的『coffee』『regulation』『supply』。数字人文里,把 TEI 文档中的词共现直接当成概念关联,却隐藏窗口、语料年代、文体和编码粒度,等于把分子接触距离删掉后仍宣称知道键长。
【极难发现】PMI 的独立性基线不是自然常数,而是语料选择的社会投影。若语料是论文摘要,『agent』『consensus』可能高度共现;若是厨房手册,『coffee』『breakfast』更强;若是法律文本,『bank』可能主要指金融机构而非河岸。因此,计算出的语义网络不是被『发现』的固定结构,而是采样、窗口、语言模型和语料边界共同制造的结构。
【待验证点】换三个语料:学术摘要、社交媒体、小说;固定窗口和词表,重算 PMI 排名。若 top 50 邻近词中超过 30% 不重叠,就能说明『语义邻近』至少部分依赖语料社会学,而非纯粹语言内部关系。
问题:如果两个研究者用不同语料算出不同的 PMI 结构,谁更接近『真实语义』?还是说,语义结构本来就是语料选择与测量窗口的共同产物?







0 評論