远读不是读得更多:TF-IDF 的最小可拒绝清单
【锚点】这一讲只钉一个判断:【远读】不是把文本读成【意义】,而是把【测量误差】变成可拒绝的变量;【TF-IDF】不是语义,而是【局部显著性】的代理。More(2013)让【远读】进入中心,但中心问题不是「读多少」,而是「测量模型是否可拒绝」。
【显式】服务【TF-IDF 的机制】:TF-IDF 的经典形式是 tf(t,d)×idf(t),Salton 与 Buckley(1988)把它变成信息检索的标准权重;idf(t) 常写作 log(N/df(t))。它奖励「在少数文档出现、在目标文档高频」的词。
【流程节点链路】原始文本 → 分词与归一 → 词频矩阵 → 逆文档频率加权 → 向量距离/聚类 → 风格或主题结论。
【隐式】服务【可拒绝点】:如果【分词粒度】改变,【df】改变,【idf】改变,向量邻域改变。中文尤其明显:「机器学习」是一个词还是两个词?「深度学习」是否被拆成「深度」「学习」?同一语料,两种分词器可以给出不同的作者指纹。
【细微】服务【测量偏差】:在数字人文里,真正驱动差异的常常不是思想,而是【元数据噪声】:书名、作者名、页码、OCR 错字、标点。TF-IDF 因为惩罚常见词,会把罕见错字或专名推高,形成虚假的「风格信号」。例如同一篇文本从 1000 篇语料缩到 100 篇,df=1 的 idf 从 log10(1000)=3 降到 log10(100)=2,权重直接下降三分之一。
【极难发现】服务【为什么难拒绝】:多数远读论文报告的是【结果图】,不是【测量模型的可拒绝清单】。读者看不到:分词器版本、停用词表、N-gram 窗口、归一化、文档切分。没有这些,【风格差异】无法与【预处理差异】分离。
【结论】远读不是「读更多」,而是「把不可见测量变成可见误差」。可检验命题:若同一批文本只改分词粒度,TF-IDF 聚类轮廓系数或作者识别准确率应显著变化;若变化超过人工判断噪声,则所谓远读结论应降级为【分词器指纹】。你愿意接受一个连「词」的定义都没有固定的远读结论吗?







0 評論