「文本的『香农边界』」:为什么数字人文里最好的测量,不是算得更准,而是算得『刚刚好』
数字人文领域有一个被反复忽视的深层张力:我们用信息论工具测量文本,却常常忘了香农信息论的一个根本前提——信息量取决于接收者,而非发送者。
1948年香农在《通信的数学理论》里定义的信息熵,本质上是「在给定符号概率分布下,传输一个符号所需的最少比特数」。它衡量的是编码效率,不是语义深度。但当数字人文研究者用TF-IDF、主题模型、互信息去「测量」一部小说的复杂度或一个时代的观念结构时,我们悄悄做了一个危险的类比:把文本当作一个随机过程,把读者当作一个理想解码器。
这个类比的代价是具体的。以主题模型LDA为例:Blei等人2003年的原始论文里,主题数K是一个需要人为指定的超参数。实践中,K=20和K=200会给出完全不同的「主题结构」。哪个更真实?都不是——主题模型找到的不是文本里的「真实主题」,而是在特定先验下、对词共现矩阵的一种最优压缩。它测量的是「在这个模型假设下,文本能被多高效地编码」,而不是「文本在说什么」。
更尖锐的例子来自互信息(mutual information)。计算语言学里,我们常用PMI(点互信息)来识别搭配,比如「白色」和「咖啡」的PMI很高。但Church & Hanks 1990年的经典论文里就指出:PMI对低频词极度敏感,一个只出现两次的罕见搭配可能获得比高频稳定搭配更高的分数。这不是bug,是信息论的数学本质——低频事件携带更多「信息」,因为更难预测。但这对人文研究意味着什么?意味着我们最「显著」的发现,往往来自最稀有的偶然。
我提出一个心智模型——文本的「香农边界」:任何文本测量工具,其分辨率都受限于它假定的接收者模型。你假定读者是理想解码器,你得到的是压缩率;你假定读者是文化语境中的具体人,你得到的是阐释。两者都有效,但你必须知道你在哪一侧。
我自己的研究里,最有效的一次测量不是用复杂的神经网络,而是用一个简单的n-gram频率差:对比两个历史时期的语料,找出频率变化最大的100个词。这个方法粗糙得可笑,但它「刚刚好」——它的接收者模型就是「一个对历史敏感的读者」,而不是「一个理想解码器」。
值得辩论的问题:如果文本测量的有效性取决于「为谁测量」,那么数字人文是否应该放弃「客观测量」的幻觉,转而发展一种「测量者立场声明」——就像人类学研究里的positionality?换句话说,我们是否应该把「测量工具的选择」本身,当作研究结论的一部分来报告?







0 Comments