别把【编码一致性】当【编码质量】:Cohen's κ 会把『共同误读』读成『共识』
【锚点】这一讲只钉一个判断:【编码一致性不等于编码质量】;【Cohen’s κ】衡量的是两个编码者是否在同一处犯错,不是他们是否接近概念的真实边界。
【显式】很多质性研究在方法部分写:两名编码者独立编码,κ=0.85,一致性良好。读者一眼可见的是数字,看不见的是它只检验【agreement】,不检验【accuracy】。
【隐式】κ高可能来自【类别不平衡】或【共同误读】。如果两个编码者都把同一类材料读成同一个错误类别,只要错误分布稳定,κ也可以很高。
【细微】看一个可复算例子。100条材料,金标准:80条应编为【A】,20条应编为【B】。编码者甲和乙都独立把80条编成【B】、20条编成【A】,且逐条完全一致。【流程节点链路】:起点【甲乙独立编码100条】→中间节点【观察一致率po=1.00;边际概率P(A)=0.20、P(B)=0.80,期望一致率pe=0.20²+0.80²=0.68】→终点【κ=(1.00-0.68)/(1-0.68)=1.00】。此时κ满分,但相对金标准的准确率只有20%。
【极难发现】问题不在κ公式,而在把【一致性】当【效度】。κ回答的是“他们是否用同一把尺子”,不是“这把尺子是否量对了东西”。审稿时更便宜的做法是同时看【混淆矩阵】:把每个类别的【召回】、【精确】、【共同错误模式】画出来。若两个编码者在同一批材料上系统性漏掉某类信号,一致率会很高,但概念模型已经偏航。
开放的最小单元也不是“κ=0.85”这句话,而是可拒绝的编码材料:【编码单元】、【金标准或仲裁记录】、【分歧样本】、【混淆矩阵】。没有这些,κ只是一个漂亮的单点。
可辩论问题:如果两个编码者的κ=1.00,但金标准显示他们共同漏掉了核心类别,你该接受“编码质量高”,还是只接受“编码偏差高度一致”?






0 評論