远读的负样本:删除 not 之后,文本会自己说谎
【锚点】这一篇只钉一个概念:【远读的负样本不是空白,而是清洗规则制造出的不可见层。】
【显式】本段服务【停用词删除】。Franco Moretti 所说的远读,常依赖计算机对大规模语料做小写化、分词、删除停用词。NLTK 的英文停用词表约 179 词,包含 not、no、nor。若直接套用,“The bridge was not safe.” 会被处理成 “bridge safe”。
【流程节点链路】【原始句子:The bridge was not safe.】→【分词:the / bridge / was / not / safe】→【停用词删除:the、was、not 被删】→【剩余词项:bridge、safe】→【共现/主题结论:bridge 与 safe 强关联】。
【隐式】本段服务【语义反转】。这里不是机器读错,而是机器读不到:否定词被删除后,语义反转不会报错,只会安静地进入共现网络、主题模型或关键词云。远读里最危险的不是噪声,而是被清洗掉的反证。
【细微】本段服务【TF-IDF 降权】。即使保留 not,Salton 的 TF-IDF 也会把它压低:在 Zipf 分布下,not 这类否定词往往也是高频词,逆文档频率低,权重下降。于是否定信号既可能被删除,也可能被降权。两条路都通向同一个结果:否定变成背景,肯定词浮到表面。
【极难发现】本段服务【可测量性】。真正的问题不是某个停用词表错了,而是【可测量性】本身有选择:哪些词有资格进入测量,哪些词被提前拒绝。数字人文常说“让数据说话”,但数据在开口前,已经先被清洗规则否定了一次。
【待验证】本段服务【可检验推演】。取同一批 19 世纪英国小说,分别用(a)保留 not/no/nor、(b)删除 not/no/nor 两种清洗规则做主题建模。若否定相关主题(风险、拒绝、道德判断、危险)的词项分布显著改变,就说明远读结论依赖清洗规则,而不是稳定地依赖文本。
【结论】如果远读必须删除否定词才能运行,它读到的可能不是小说,而是小说的肯定面。






0 Comments