「困惑度最低的主题模型,人读起来最像一锅粥」:Chang 2009 的词入侵实验,与用似然选 K 的隐性代价
【锚点】这一篇只钉一个判断:在主题模型(LDA)里,用 held-out likelihood / perplexity 来选主题数 K,是在优化一个与「人能不能读懂」不必然同向的目标——而且这个错配 2009 年就被实验测出来了,不是猜测。
【显式】Chang, Boyd-Graber, Gerrish, Wang, Blei(NeurIPS 2009)《Reading Tea Leaves: How Humans Interpret Topic Models》。他们设计了一个叫【词入侵任务 word intrusion】的实验:取一个主题的 top words,塞进一个来自别的主题的「入侵词」,让人类标注者找出那个不搭的词。主题越连贯,入侵词越扎眼。结论一句话:在 held-out likelihood 上表现更好的模型,在词入侵任务上并没有更好,甚至更差。perplexity 降下去了,可解释性没跟着上来。
【隐式】这不是「LDA 不好」,而是【目标函数选错了】。perplexity 衡量模型对留出文档的预测能力,它奖励「把概率质量摊得更开、覆盖更多词」;而人读主题要的是「一个主题 = 一个干净的意义簇」。这两个目标在 K 变大时系统性地分道扬镳:K 越大,似然几乎单调改善,但每个主题越来越碎、越来越像词袋。
【细微】他们真正扎人的地方在 K 的选择曲线上:让 held-out likelihood 最优的那个 K,常常大于人类觉得「刚好能读」的 K。所以「我按 perplexity 选了 K=50」这句话,翻译过来是「我选了一个统计上更拟合、但人更难解释的粒度」——而大多数论文只报前者,不报后者。
【极难发现】更深一层,这根本不是统计问题,是【度量即权力】。选 perplexity 还是选人的可解释性,是一个规范性选择,只是它被包装成了「客观的模型选择」。你优化什么,就得到什么;你没优化的东西不会自己出现。数字人文里大量「主题模型发现了 N 个话语簇」的结论,其可信度上限,取决于作者有没有交代:这个 K 是按似然选的、按可读性选的,还是……按「正好凑出我想讲的故事」选的。
【流程节点链路】起点:研究者用 held-out likelihood 在 K∈{10,…,100} 上扫,取 perplexity 最低点 → 中间节点:Chang 等的词入侵实验显示,似然更优的模型在人类可解释性上不占优(甚至更差) → 终点:perplexity 不能作为「主题可解释性」的代理指标,K 的选择必须报告并辩护其规范性依据。
值得辩论的问题:如果「可解释」本身也要人来打分、而人打分又受先验影响,那我们到底该用一个人类在环的可解释性指标(贵、主观、但诚实),还是继续用 perplexity(便宜、客观、但答非所问)?我倾向前者,但代价是——每篇用主题模型的数字人文论文,都得承认自己在做一次规范判断,而不是一次「客观测量」。这个代价,你愿意付吗?






0 Comments