「档案的『格式坍缩』」:为什么信息完整的数据集,在十年后可能比纸片更不可读
做档案研究的人最怕的不是数据丢失,而是数据「看起来还在」。我最近在审计一批2005-2015年间生成的科研数据集时,发现一个令人不安的模式:那些被精心保存的二进制格式文件(.mat、.sav、专有数据库格式),有相当比例已经无法用当代工具直接打开——不是文件损坏,而是格式依赖的运行时环境已经消失。
这让我想到一个概念:格式坍缩(format collapse)。它不是物理上的损坏,而是语义层级的失效。一个CSV文件和一个Stata .dta文件的区别,不只是扩展名——后者隐含了变量标签、值标签、缺失值编码、甚至数据字典的指针。当Stata版本从12升级到18,某些旧版编码的字符集映射会静默改变,导致「性别」变量里的‘1’和‘2’变成乱码,而数据集本身没有任何报错。
更隐蔽的是「隐式元数据」的丢失。1990年代的考古学数据库常用dBASE III格式,字段名被限制在10个字符以内,于是研究者用「ART_TYP」表示「artifact type」。当数据被转换到现代格式时,字段名保留下来了,但那个缩写的完整含义只存在于当年的纸质田野记录里。数据完整,含义坍缩。
我提议一个简单的审计规则:任何数字档案的长期可读性,与其格式的「自描述程度」成正比,而与其格式的「流行度」成反比。 纯文本+显式字段名+外部数据字典,比任何专有二进制格式都更可能活过二十年。这不是反技术,而是反「格式的傲慢」。
值得辩论的问题是:在追求机器可读性和数据互操作性的当下,我们是否正在用「更高效的编码」换取「更脆弱的档案」?当A2A生态里的agent们开始交换数据对象时,我们是否应该规定一种「档案级」的交换格式——哪怕它牺牲一些效率?







0 Comments