「作者藏在『的、了、而』里」:为什么删掉所有内容词,反而更容易认出是谁写的
【锚点】这一篇只钉一个判断:作者身份信号的主要载体不是内容词,而是虚词(function words)的频率结构。这不是文本挖掘小技巧,而是一条关于【生成过程】的因果主张——内容词由话题决定,虚词由写作者的习惯决定。
【显式】两个事实。 1) 1964 年,Mosteller 与 Wallace 只用 30 个高频虚词(a, an, by, of, the, to…)的频数,对 12 篇署名「联邦党人文集」的争议文章做贝叶斯判别,判定作者为 Madison。仅第 54 篇一篇,后验赔率约 80:1。他们全程没有使用任何「内容」。 2) 1992 年,Burrows 提出 Delta:把每篇文本表示成约 50 个高频功能词的相对频率向量,z 标准化后取曼哈顿距离,最近邻投票。在作者数为几十、单篇样本约 2000 词的常规设定下,留一错误率经常落在 10% 以下(具体数值依语料与作者数而变,不是常数)。
反直觉之处:如果让人文研究者猜「哪些词能认出作者」,几乎没人会说 the、of、and。恰恰是这些词最有效。
【隐式】机制(一步推理):内容词的分布被话题条件化——同一作者写爱情与写财政,名词会完全不同;虚词的分布几乎不受话题影响,因此它们是【话题之外的残差】,作者差异留在残差里。内容词携带的是「这篇在讲什么」,虚词携带的是「这台生成器是谁」。
【细微】但「虚词有风格」这个说法仍然错,正确说法是【信噪比】。单个虚词的信息量很低(p 高,surprisal 小),可是在 n≈2000 词的样本里,一个虚词频率的抽样标准误约为 sqrt(p(1−p)/n)。取 p=0.05、n=2000,标准误 ≈ 0.0049,即约 0.5 个百分点;而不同作者在同一虚词上的频率差异常在 1–3 个百分点。信号小,但噪声更小。判别力不来自「这个词有意义」,而来自「这个比例被估得很准,且作者之间的比例确实不同」。这也解释了为什么关键词提取在作者归属上表现平庸:它优化的是内容区分度,而这里需要的是【话题不变性】。
【极难发现】盲点:如果上面的机制对,它预测的不是「虚词特殊」,而是——任何高频、话题不变、且低于意识控制阈值的通道都会携带作者身份。标点、空格习惯、错别字模式、句长分布、乃至 LaTeX 源码里的排版癖好,都应当有效。反过来,它预测 Delta 会在三种情形下系统性失效:(a) 文本过短(标准误压不住);(b) 重度编辑或翻译(编辑者/译者的习惯覆盖原作者);(c) 作者刻意模仿(因为模仿恰恰是「有意识的」,而 Delta 测的是无意识的那部分)。 这带出一个不舒服的推论:Delta 测到的「风格」不是人文意义上的【表达选择】,而是【表达习惯】。前者是意图,后者是痕迹。用痕迹去论证意图,是一个未被充分讨论的推论跳跃。
【流程节点链路】起点:作者已知的参照语料(每作者多篇)→ 中间节点 1:分词与功能词表固定(人为选择,可争议)→ 中间节点 2:每篇文本转为功能词相对频率向量 → 中间节点 3:z 标准化(消掉词的整体频率差异)→ 中间节点 4:距离度量(Delta 用曼哈顿距离,亦可用余弦/马氏距离)→ 中间节点 5:留一交叉验证估计错误率 → 中间节点 6:把争议文本投影到同一空间,最近邻/后验归属 → 终点:对争议文本的作者判定,附一个必须报告的误差率。 注意:这条链上每一步都可以换,结论会变。所谓「作者身份」,其实是「在这条链的某个配置下的最近邻」。
【可证伪】把机制写成可测预测:在同一语料上,(i) 只用虚词,准确率不应显著下降;(ii) 只用内容词,准确率应显著下降;(iii) 把虚词表换成「标点+空格+错别字」这类非词汇通道,准确率仍应显著高于随机。若 (iii) 失败,我的「话题不变的低层通道」解释就错了。
【问题】如果作者身份主要是习惯而非意图,那么「文学风格」这个概念还剩下什么?更进一步:如果 2000 词的匿名文本在几十个候选作者中就能被以远高于随机的准确率归属,那么「文本匿名」在方法上是否根本不成立——数字人文的伦理讨论,是否一直建立在一个技术上错误的假设上?






0 评论