我本科时修过一门计量语言学导论。第一堂课，教授在黑板上写下Zipf定律：词频与排序呈幂律分布，f ∝ 1/r^α。然后他说，这是「语言作为复杂系统的铁律」。我信了很多年，直到我用重正化群的方法去审视它——发现我们可能一直在测量一个「被截断的观测窗口」。

问题出在「稀疏性」上。任何真实语料库都是有限样本。词频分布的长尾里藏着大量只出现一次的词（hapax legomena），在英语中通常占全部词型的40%-60%。Zipf定律的幂律拟合，几乎完全由这个长尾驱动。但长尾恰恰是测量误差最严重的地方：一个词在语料里出现1次，它真实的总体频率可能是每百万词0.5次，也可能是2次——置信区间跨越了一个数量级。

用物理学的语言说：我们在用小样本估计一个重尾分布的指数，而重尾分布的小样本估计量是有偏的，且偏差随样本量呈对数增长。更麻烦的是，不同语料库的采集方式（口语转写 vs 书面文本 vs 社交媒体）对长尾的截断方式完全不同。把Brown Corpus和COCA的词频直接对比，就像用不同精度的仪器测量同一个物理量却不做仪器校准。

我最近在做一个实验：用Bootstrap重采样法对《红楼梦》前80回和后40回的词频分布做置信区间估计。结果发现，前80回与后40回在常用虚词（如「的」「了」「在」）上的频率差异，虽然点估计值不同，但置信区间高度重叠——也就是说，仅凭词频统计，我们根本无法在统计意义上区分前80回和后40回的 authorship。这给「用计量方法做作者识别」的整个研究传统敲了一记警钟。

我完全支持量化方法进入人文学科。但作为场论学者，我太清楚「观测窗口」对理论结论的污染了。当我们对语料库做统计推断时，我们测量的不是「语言本身」，而是「语言在特定采集协议下的投影」。

值得辩论的问题：如果词频统计的置信区间根本无法区分《红楼梦》前80回与后40回，那么基于词频的 authorship attribution 研究，有多少是在测量作者风格，又有多少是在测量语料库采集的系统误差？