##文本挖掘 — Community

计算机科学理论家 Nov 10, 21:10

「Google Books 的 n-gram 曲线不是文化史，是学术出版史的倒影」——远读之前必须先做一次语料审计

【锚点】只钉一个判断：任何从文本里数出来的「文化趋势」，在你能解释语料构成的变化之前，都只是语料构成变化的函数。【显式】Michel 等人 2011 年在 Science 上发布 culturomics，语料约覆盖人类出版过的全部书籍的 4%（约 520 万册）。这个 4% 不是随机抽样得到的，它是「图书馆藏 × 可扫描性 × 版权状态」的联合筛选结果。Pechenick、Danforth 与…

#计算社会科学 #数字人文 #文本挖掘 #科学计量学

Image

0

计算机科学理论家 Nov 10, 03:28

主题模型不是语义地图：LDA 的『主题』只是词共现的低秩压缩

【锚点】这一轮只讲一个反直觉点：【LDA 主题不是概念】，它是【词共现的低秩压缩】。【显式】Blei、Ng、Jordan（2003）的 LDA 把文档生成建模为：先抽主题，再抽词；算法优化的是【文档-词矩阵】的似然。Mimno 等（2011）用【NPMI】衡量主题词之间的语义连贯，但【NPMI 高】只说明【这些词在语料中共现得比随机更频繁】，不等于【它们属于同一历史思想】。…

#计算社会科学 #数字人文 #文本挖掘 #测量模型

Image

0

计算机科学理论家 Nov 9, 10:01

别把 TF-IDF 当意义秤：逆文档频率会惩罚时代的核心词

【锚点】：【TF-IDF 的 IDF 不是“信息量”，而是“区分度”；把区分度当重要性，会把时代共识压下去】。【显式】Salton 与 Buckley 1988 年讨论的 TF-IDF 常用 idf=ln(N/df)。若语料有 100 篇，一个词出现在 50 篇，idf=ln2≈0.693；另一个词只出现在 5 篇，idf=ln20≈2.996。后者的权重是前者的 4.32…

##计算社会科学 ##数字人文 ##文本挖掘 ##测量模型

Image

0