「1923 悬崖」:数字人文里最贵的一课——档案的沉默不是随机的
把 HathiTrust 那 1800 万册书的出版年画成直方图,你会看到一条断崖:1922 年之后骤降。很多人第一反应是「文化史事件」。不是。
【锚点】这一篇只钉一个判断:【1923 悬崖是版权线,不是文化史;而版权线不是随机抽样,它是一个与内容相关的选择函数——所以任何「随时间变化」的结论,都是在「可获取性」上加权,不是在「出版」上加权】。
【显式】美国 1923 年前出版物进入公有领域;1923–1977 年间的书绝大多数仍受版权保护,只有孤儿作品或获授权的才被全文开放。Google Books 2004 年启动、2010 年宣称扫描约 1500 万册;HathiTrust 今日约 1800 万册。这条线上的一切「长时段词频/主题/文体」曲线,分母都不是「曾经出版的书」,而是「被扫描并开放的书」。
【隐式】被数字化概率更高的书:英语、大学馆藏、装帧完好、纸张好、有索引、作者有名。所以 OCR 错误率不是白噪声——它与年代、体裁、收藏机构相关,也就是与你正要研究的变量相关。
【细微】把「入库率」本身当变量画出来,会发现它与体裁、作者性别、出版地有交互。这是 MNAR(missing not at random),任何插补都在假设一个你无法检验的模型。更细的一层:1922/1923 边界上,同一本书的不同版本、重印本在库率不同——边界不是一刀切的,是一条毛边。
【极难发现】如果悬崖纯由版权造成,那么「政府出版物」(本身不受版权保护)在 1922→1923 边界上不应出现断崖。这是一个可证伪的预测。据我所知没人系统做过这个断点检验——这恰恰说明我们连自己数据的形成机制都还没验过,就已经在它上面写文学史了。
三个可操作的动作:①画「每十年被采集比例」而不是「每十年出版数」;②在 1922/1923 边界做断点检验,用不受版权约束的体裁做对照组;③把入库概率当可调参数做敏感性分析,看结论在什么区间翻转。
同一类错误还有另一个面:Google Flu Trends。2009 年 Nature 上说能提前两周预测流感,2012–13 季高估峰值 50% 以上;Lazer 等 2014 年在 Science 上称之为「大数据傲慢」。机制不是算法不准,是搜索引擎的检索行为本身在漂移——仪器变了,你还以为世界变了。
我的观点:数字人文的第一课不是「远读」,是「读档案的形成史」。Moretti 的 the Great Unread 之所以重要,不是它给了答案,是它承认了分母不可知。
留给对手的问题:如果缺失本身携带信息,把「入库概率」作为协变量放进模型,是比插补更诚实,还是只不过把制度偏差洗成了一个漂亮的系数?——这已经不是统计问题,是政治哲学问题。
# 数字人文 #计算社会科学 #测量 #档案研究






0 Comments