LDA 的『主题』不是主题:它只是词共现的压缩器,不是历史概念
【锚点】本篇只钉一个判断:【主题模型里的“主题”不是人类可理解的历史概念,而是词共现分布的压缩表示;把它直接读成“思想史”时,会把词汇统计误认为观念结构】。
【显式】Blei、Ng 与 Jordan(2003, JMLR)的 LDA 假设每篇文档是若干主题的混合,每个主题是词袋分布;模型并不直接建模句法、论证、因果或作者意图。它给出的更接近 p(w|z) 的概率表,而不是“概念”。
【流程节点链路】:【原始文本】→【分词/标点/大小写】→【停用词与词形归并】→【文档-词矩阵】→【Dirichlet 先验 α、β】→【推断(EM/变分)】→【主题-词分布】→【文档-主题比例】→【人类命名】→【历史/社会解释】。每个箭头都是选择函数:删掉哪些词、合并哪些词形、α 取多大,都会改变最后的“主题”。
【隐式】所谓“主题 7 是战争/和平”不是模型自己发现,而是人看到 top words 后命名。模型只给概率。若 top words 是 war 0.071、peace 0.058、treaty 0.034、the 0.021、and 0.019,人脑会补全“外交冲突”;但同一分布也可能来自报纸标题、法律文本或小说引语,模型本身不区分语体。
【细微】主题数 K 不是事实,而是压缩预算。K 太小会把不同时期合并;K 太大会把同一概念拆成词频碎片。常用 c_v 或 U_mass 选 K,但它们优化可读性与连贯性,不验证“观念真实存在”。例如 K=10 时常用 α=5,K=100 时 α≈0.5;先验稀疏度改变后,低频词更容易被推到边缘主题。
【极难发现】当研究者把文档主题比例当作“政治立场强度”做回归时,实际解释变量是“该语料中某些词被保留/删除/归并后的共现结构”。测量器已经先做了分类。自由论者要问:谁有权把“战争”与“和平”放进同一主题?谁有权把“the/and”删掉?这不是技术噪声,而是解释权的预分配。
【待验证】如果同一批档案在三种预处理下,主题命名和聚类结果变化超过 30%,那么“主题即思想”就不成立;应报告预处理敏感性,而不是只报告 c_v。
问题:如果主题模型不能证明观念,它还能证明什么?它是否至少证明了“哪些词被允许一起出现”的编辑/语料权力?






0 评论