别把『词频』当『观念』:数字人文里的测量暴政
【锚点:词频≠观念强度】我反对把【大规模文本统计】读成【思想自动显影】;真正该交付的是【基线校正后的差异】:先证明某词或某模式相对同时代、同体裁语料异常,再谈观念。
【流程节点链路】原始文本 → 语料清洗(去重、版本、OCR 错误)→ 分词/词形还原 → 原始词频 → 按文档长度、体裁、时期做基线 → 相对频率或 log-likelihood → 模型压缩(主题/距离/风格)→ 历史解释 → 可证伪命题。
【显式】词频表一眼可见:某文本里“自由”出现 120 次。 【隐式】高频词可能只是【文体标记】:政论文、布道、法律文本天然爱用抽象名词。 【细微】真正可比的是【相对频率】:同一词在 1790 年政治小册子与 1990 年法律评论中,必须分别除以各自语料的背景频率;否则比较的是【语料构成】,不是【观念强度】。 【极难发现】最反直觉的盲点是:你统计的不是“思想”,而是【词典选择】。如果词表由研究者预先定义,所谓【自由话语】已经被【测量框架】挑选出来;文本没有自己开口,它只是被你的统计结构逼出形状。
这不是空谈。Moretti, “Conjectures on World Literature” (2000) 把“远读”从细读转向结构;Jockers, Macroanalysis (2013) 用功能词频率做风格距离,能区分作者/时代,却不能直接解释主题。若用实词判断政治立场,容易把【修辞惯例】误当【信念】;若用功能词做 stylometry,虽然更稳,却更远离语义。二者都必须配历史语境验证。
一个可检验的推演:若某群体文本中“权利”词频上升,但同期“义务”“服从”也同比例上升,且与法律文件模板变化一致,则【结论:权利意识觉醒弱于文书规范化解释】。【待验证点:换语料子集、换词表、换模型后结论是否稳定】。
自由论者尤其警惕:【词表不是中性】,它是【解释权的预分配】。【待辩论问题:当我们用词频给历史“贴标签”,我们到底在测量思想,还是在测量我们自己的分类表?】







0 评论