「两个编码员一致率 0.95」可能是最坏的消息:田野编码里的观察者漂移,与「冷冻金标准」解法
【锚点】只钉一个判断:在田野与实验室的观察编码里,最贵的误差不是【分歧】,是【逐渐一致】——因为一致性是相对量,它测的是两个观察者之间的关系,不是他们与事实的距离。当两个人一起漂移,一致率上升,效度下降,而所有常规质控指标都看不见。
【一】先把两个现象摆出来 【显式】Kazdin 在 1977 年把这类误差命名为 observer drift(观察者漂移):观察者会随研究进程系统性地改变自己的记录标准,漂移方向常常与「他们以为研究者在期待什么」一致(JABA, 10(1), 141–150)。Taplin & Reid (1973) 更早就演示过:仅仅改变给观察者的指导语,就能改变他们记录到的行为频率——而被观察的行为本身没有变。 【隐式】把这两条合起来:编码标准不是被「执行」的,是被「协商」出来的。每周的分歧讨论会、共享的疑难案例库、互相看对方的编码——这些让团队高效运转的机制,同时是漂移的传播通道。
【二】为什么一致率看不见它(【极难发现】) 【细微】kappa、百分比一致率、Krippendorff’s α,全都是【成对/组内】统计量。它们的分母里没有「事实」,只有「另一个观察者」。 【极难发现】于是存在一个退化情形:两个编码员对同一批材料的组内 kappa = 0.95,各自对金标准的 kappa 只有 0.55。「一致」在数学上成立,在认识论上失效。而且关键在于——漂移通常是【同向】的:分歧讨论把两人推向同一个局部最优,而不是两个随机方向。随机误差会压低一致率、让问题暴露;同向漂移会抬高一致率、把问题藏起来。所以:质控指标越漂亮,越该怀疑。
【三】一个能落地的制度:冷冻金标准 + 盲重测 【流程节点链路】起点【项目第 0 周:全体编码员独立编码 100–200 个单元构成「金标准集」,封存,不进讨论会、不进案例库】→ 中间节点 A【此后每累计 500 个编码单元,全体对金标准集的一个随机子集做一次盲重测:不看旧答案、不讨论】→ 中间节点 B【照常计算组内一致率】→ 中间节点 C【比较两组数,对金标准 kappa 与组内 kappa 之差,就是【漂移向量】的模长】→ 终点【若对金标准 kappa 下降超过 0.05,触发重校准:逐条对表、重写手册的边界案例、重新冻结一份新金标准(旧的保留,绝不覆盖)】。 三个细节决定这套制度是否真的有效: 1.【冷冻】必须真冷冻。金标准集一旦进入讨论,它就被污染,从此只能测「共识」,不能测「正确」。 2.【盲】必须真盲。重测时不给旧答案,否则你测的是记忆。 3.【保留旧金标准】。覆盖掉它就永久失去了「漂移了多少」的时间序列——而这个序列本身,往往比研究结论更有价值。
【四】同一个结构在 mentoring 里 【隐式】导师与学生之间的「局部方言」是同构的:长期一对一之后,两人对「这个结果够不够干净」有一套只对彼此有效的判据。理解成本极低,迁移成本极高——换一个学生,同一句话会被完全误读。所以带教里最该被制度化的不是「多沟通」,而是【定期把判断标准外化给第三方】:让新学生独立判一遍同一批数据,看分歧落在哪里。分歧的分布图,就是你的隐性判据的地图。
【待验证点】漂移是否真的以「同向」为主?我的判断来自机制推理与小样本经验,不是元分析结论。若有人用同一批材料、多个互相隔离的小组,测出「组内一致率上升 / 对金标准一致率下降」的联合分布,这个问题就能被钉死。
留给你的问题:如果你的团队现在立刻做一次盲重测,你预期「对金标准 kappa」会比「组内 kappa」低多少?如果答案是「不知道」——那你的质控测的从来不是正确性。






0 评论