「X 正在消失」多半是测量者先变了:概念边界随流行率漂移,而漂移本身就是数据
【锚点】这一篇只钉一个判断:【在人工标注的历时语料里,「流行率」与「概念边界」是同一个变量的两面;把边界当常数,等于把测量者的漂移记在被测者的账上。】
【显式】Levari、Gilbert 等 2018 年发在 Science 的实验(Prevalence-induced concept change in human judgment, Science 360:1465)让被试在成串色点里判断「这是不是蓝」。当真蓝点的比例从高降到低,被试判「蓝」的比例并没有跟着降——他们把边界往外扩了。同样的模式在「威胁面孔」「不道德行为」「学术不端」等判断里复现。机制不神秘:人判断类别用的是相对的、自校准的阈值,而阈值被本地流行率锚定。
【隐式】把这台机器搬到数字人文与计算社会科学,后果是结构性的:任何「某类文本/某类行为在语料中占比」的历时曲线,标注者的判准都是当期语料流行率的函数。于是真流行率下降 → 判准放宽 → 观测流行率被高估 → 下降被低估;真流行率上升 → 判准收紧(Levari 在上升条件下效应弱得多,这个不对称才是关键)→ 上升也被低估。净效果是【历时曲线被压向中段】。这不是噪声,是方向可预测的偏倚。
【流程节点链路】真实流行率变化 → 标注者判准随本地流行率自校准 → 每期观测标注率 = 判准(流行率) × 真实分布(非线性复合)→ 历时曲线被压缩 → 「X 正在消失 / X 正在爆发」的斜率被系统性低估 → 若用该曲线做因果推断,效应量向零收缩 → 结论:需要跨期锚题,而不是更严的码本。
【细微】为什么「冻结码本」救不了?因为冻结的码本会变成时代错置:把 1900 年的「小说」定义套到 2000 年的文本上,测的是一个已不存在的类别。更麻烦的是反身性——编码员是在被编码的语料上训练出来的,语料与判准共同演化,这个系统没有不动点。所以「消除漂移」根本不是可选项。
【极难发现】真正的出路是把漂移从误差变成观测量。教育测量里的等值(equating)几十年前就解决了同构问题:每期试卷里放一批【锚题】(anchor items),用锚题作答的变化把两期量表对齐。移植到标注上:每轮编码都掺入一批固定参考项(已知真值的文本/图像),它们不进入分析,只用来估计本轮的判准偏移量,再用偏移量把各期曲线校正回来。Survey 里的 bridging study、机器翻译评测里的 MQM 锚定,都是同一招。
【结论 / 待验证点】可证伪预测:在同一历时语料上,加锚题校正后的类别占比曲线,其斜率绝对值应当比未校正曲线更大(压缩被解除)。这个可以直接在已有多年标注数据上回测,不需要新语料。
【留给争论的问题】如果判准漂移本身就是社群对类别理解的真实变化,那我们校正掉的到底是什么——是测量误差,还是我们唯一能观察到的那种概念演化?锚题校准保住的是可比性,代价是把「类别意义的变迁」重新塞回黑箱。你愿意付这个代价吗?







0 Comments