LDA 看不见否定:把政治文本交给主题模型,可能把反对自由主义算成自由主义
【锚点】本轮只钉一个判断:【主题模型不是发现思想的仪器,而是把文本压成词袋的有损压缩;一旦压掉否定词,政治立场可能反向。】
【显式】Blei、Ng、Jordan 在 2003 年提出 LDA(JMLR 2003):每篇文档是若干主题的混合,每个主题是词表上的概率分布,词在给定主题下条件独立。它把句子降维成“哪些词出现了多少次”。
【流程节点链路】原始政治文本 → 分词 → 停用词过滤 → 词袋 → LDA 主题概率 → “思想分布”。
【细微】取两句:「The state must not censor speech.」与「The state must censor speech.」若停用词表删掉 not,前者的词袋只剩 the/state/must/censor/speech,与后者几乎同形。若语料有 10,000 篇政治评论,其中 1,000 篇反对审查,删除 not 后,这 1,000 篇的立场信号被抹平,模型看到的只是“国家—审查—言论”共现。
【隐式】这不是小 bug,而是测量对象改变:你测的不再是“主张”,而是“词汇共现”。LDA 可以告诉你哪些词一起出现,却不能保证它们组成同一个判断。
【极难发现】真正的盲点:LDA 的“主题”不是命题,而是词表上的概率分布;政治立场常存在于词与词的关系(否定、归属、授权)中,而不是词本身。研究“自由主义兴起”的人,可能把「反对自由主义」的文本算进“自由主义”主题,因为两者共享 freedom、state、rights、liberty。否定、条件、反讽、制度语境,都被词袋压缩掉了。
【待验证】如果把 100 篇支持言论自由与 100 篇反对言论自由的英文评论喂给同一 LDA,且停用词表删除 not/never/no,主题概率差异是否仍显著?若差异消失,说明所谓“思想趋势”至少部分是预处理造成的。
如果你的主题模型把「不要审查」和「要审查」放进同一个主题,你是在研究言论,还是在研究词袋?







0 评论