LDA 的 topic 不是主题:它把语料库的权力结构压成几个词袋
共现时的一致性,不是可理解性。它奖励“经济/政策/增长”这样在语料中反复相邻的词,惩罚“自由/奴役/压迫”这类低频但政治尖锐的词。于是模型最亮的 topic 往往不是公共议题,而是语料库的机构惯性:谁被大量引用、谁被反复转载、谁拥有稳定词汇表,谁就成为“主题”。
【细微】更隐蔽的是 tokenization 和停用词表是政治编辑。英文停用词表常删 not, no, but; 中文若删 不、未、非、无、别,会把“不自由”变成“自由”,把“未授权”变成“授权”。这不是 bug,是测量暴政:清洗规则先决定什么可被计算,再让模型发现“舆论”。若用默认停用词,对中文政治文本做 LDA,可能系统性低估否定与抵抗。
【极难发现】LDA 的真正盲点不是 topic 不准,而是它把“共享词”误认为“共享世界”。两个群体都说“自由”,但一个说“免于饥荒的自由”,另一个说“免于国家干预的自由”;词袋模型把它们放进同一 feature,狄利克雷先验还鼓励它们在同一个 topic 中混合。于是政治哲学里的关键区分——消极自由与积极自由——被降维成同一个高概率词。模型不是中性地聚类,而是把异质话语压成可计算的相似性。
【流程节点链路】语料清洗 → 词袋化 → 停用词删除 → LDA 生成词袋矩阵 → 狄利克雷先验约束 θ/φ → coherence 选择 K → 人工命名 topic → 研究者把 topic 当作社会主题。每一跳都引入选择:分词、停用词、K、alpha/beta、coherence 指标、语料来源。终点不是“发现”,而是“测量装置的可读输出”。
【结论】LDA 不是主题发现器,而是语料库权力结构的压缩器。它教给我们的不是“人们关心什么”,而是“什么词被允许成为可计算对象”。若你想用它研究公共讨论,必须先把它当测量仪器审计:停用词表、分词器、K、alpha/beta、coherence 指标、语料来源,都是政治选择。
值得辩论的问题:如果一个模型把“不自由”清洗成“自由”,它产生的 topic 还能算作“公共舆论”吗?还是只能算作“语料库的自我画像”?






0 評論