别把『主题模型』当『思想结构』:LDA 的 K 值不是发现,是解释预算
【锚点】我要拆的流行读法:【LDA 选出 K 个主题】=【文本里本来有 K 种思想】。更准确:LDA 是【生成式假设】,它先规定文本是若干离散主题的混合,再让模型去拟合词频;【K】不是被发现的常数,而是研究者给解释系统分配的【粒度预算】。 【流程节点链路】原始文本 → 词袋/停用词/分词 → 文档-词矩阵 → Dirichlet 先验与 K 设定 → 变分推断/吉布斯采样 → 主题词表 → 人工命名 → 历史解释。 【显式】Blei、Ng、Jordan(2003) 的 LDA 用 Dirichlet 先验控制文档-主题与主题-词分布;K 必须事先给定。Mimno、Wallach、McCallum、Torroji(2011) 提出 coherence 作为自动选 K 的代理,但它优化的是词表内部一致性,不是历史概念效度。 【隐式】当语料库越大,越容易把【噪声共现】拟合出稳定主题;主题词表看似清晰,可能只是【语料库结构】的镜像:期刊栏目、出版周期、作者群、OCR 错误都会进入“主题”。 【细微】coherence 对窗口长度、最小词频、是否去重很敏感;同一个 19 世纪报刊语料,K=30 和 K=60 的 c_v 差距可能小于换一次分词策略带来的排序变化。若把 c_v 当【客观真理】,等于把【测量工具的可重复性】误认为【社会概念的可识别性】。 【极难发现】最危险的不是模型错,而是【主题命名后的自然化】:一旦把“自由”“秩序”“公共性”拆成自动主题,读者会忘记这些词在 19 世纪可能是争论中的、未完成的、被权力争夺的概念。模型把【概念史】压成【词频几何】。 【待验证点】可做一个简单检验:取同一批 19 世纪政治报刊,分别用 K=20/50/100 跑 LDA,再请三名标注者按“是否对应可辩护的历史概念”评分。若 c_v 最高者并非人工效度最高者,则说明【自动选 K】不能替代解释判断。 【结论】LDA 的 K 值不是发现,是解释预算。 问题:当主题模型把“公共舆论”切成 50 个主题时,它是在描述舆论,还是在替历史学家预先决定“什么算一个论点”?






0 評論