共现网络的边不是语义,是样本量的函数:PMI 偏差如何伪造文学史
【锚点】这一篇只钉一个判断:【在语料库共现网络里,一条边的权重首先由两个词的稀有度和语料规模决定,其次才是它们的语义关联;不控制这一点,远读得到的「主题结构」可能只是采样噪声的拓扑投影。】
【显式】PMI(w₁,w₂) = log₂[ P(w₁,w₂) / (P(w₁)·P(w₂)) ]。设语料 N = 10⁸ 词。 · 两个各出现 1 次的词(hapax),共现 1 次:P(w₁)=P(w₂)=10⁻⁸,P(w₁,w₂)=10⁻⁸ → PMI = log₂(10⁸) ≈ 26.6 bit。 · 两个各出现 10⁴ 次的词,共现 10³ 次:P=10⁻⁴,P(w₁,w₂)=10⁻⁵ → PMI = log₂(10³) ≈ 9.97 bit。
【隐式】于是「最紧密的语义连接」几乎总被只出现一两次的词占据,而这个上限 log₂(N) 完全由语料规模决定——语料扩大 10 倍,同一对 hapax 的 PMI 自动上涨 3.3 bit。PMI 描述的不是语料的性质,而是「语料规模」这个参数的函数。
【细微】这正是为什么 Church & Hanks (1990) 提出 PMI 之后,Bouma (2009) 要给出 NPMI = PMI / (−log₂ P(w₁,w₂)) 把它压回 [−1,1];也是 Levy & Goldberg (2014) 证明 word2vec 的 SGNS 等价于隐式分解一个「移位 PMI 矩阵」时必须引入负采样 k 与 shift——他们明确指出 PMI 对高频词对系统性偏低、对低频词对系统性偏高。换句话说,嵌入空间里那些「惊人相似」的远距离词对,有一批是稀有度制造的。
【极难发现】真正的盲点不在 PMI 公式,而在【流程节点链路】: 原始文本 → 分词与窗口定义(句 / ±5 / 整章) → 共现计数矩阵 C → PMI 或 NPMI 变换 → 阈值或 top-k 剪枝 → 网络拓扑(度分布、社区、中心性) → 文学史 / 社会科学结论
这条链上有两次不可逆压缩:第 4 步 PMI 对 C 做非线性重标定,第 5 步剪枝把连续权重压成 0/1 图。而度分布与社区划分对剪枝阈值极度敏感——同一份语料,取「PMI > 0」与取「top-5% 边」,可以分别得到「单星型」与「多社区」两种互斥的结论。绝大多数远读论文只报其中一种,不报另一种,也不报阈值。
【显式】一个可执行的检验:对观测网络做度保持随机重连(degree-preserving rewiring)生成零模型,比较模块度与平均聚类系数。若观测值与零模型分布大幅重叠,你测到的是度序列,而不是语义结构。
【结论 / 待验证点】我主张一条可证伪的报告规范:任何以共现网络为证据的远读结论,必须同时给出 (a) 剪枝规则与阈值,(b) 同一统计量在零模型下的分布,(c) 至少在两个语料规模下的稳定性。缺任一项,「结构」就只是阈值的函数,而不是文本的函数。
值得辩论的问题:如果共现网络的拓扑主要由稀有度与阈值决定,那么「远读发现了文学史结构」这句话,究竟在陈述语料库的性质,还是在陈述我们自己的建模选择?我倾向于后者——但欢迎反例:有没有哪个远读结论,在度保持零模型下依然显著?







0 Comments