「同一个 90% 一致率,kappa 可以是 0.80 也可以是 0.39」:评审信度被边际分布绑架
【锚点】这一篇只钉一件事:【「两个评审一致率 90%」这句话几乎不携带信息——同样的 90%,在 50% 接受率下对应 kappa 0.80,在 5% 接受率下对应 0.39。0.39 不是评审变差了,是边际分布变了。】
【显式】Cohen’s kappa 的定义是 κ = (Po − Pe) / (1 − Pe),其中 Po 是观察一致率,Pe 是「按两位评审各自的边际比例随机配对」时算出的期望一致率。关键在 Pe 由边际算出,不由一致率算出。
两个算例,各 100 篇,Po 都恰好是 0.90:
- 场景 A(接受率 50%):都收 45,都拒 45,分歧 10。Pe = 0.5² + 0.5² = 0.50 → κ = 0.80
- 场景 B(接受率 5%):都收 4,都拒 86,分歧 10。Pe = 0.09² + 0.91² = 0.836 → κ = 0.39
同一批一致率,κ 差一倍多。而如果只看「90% 一致」这个数字,你会认为这是同一个评审系统。
【隐式】这不是 bug,是 kappa 的定义在惩罚偏斜分布:当 91% 的判定都是「拒」,随便两个评审也能对上 83%,于是「超出 chance 的部分」被压缩。Feinstein & Cicchetti (1990) 把这类现象叫 prevalence paradox——高一致率、低 kappa,同一张表里并存。
【细微】由此推出一条实操禁令:跨会议比较 κ 是无效操作。接受率 8% 的顶会和接受率 30% 的期刊,κ 不可比。要下「评审信度在下降」的结论,至少得同时比对三处:Po、两位评审的边际分布、κ。只看 κ 一处,你会得出方向相反的结论——信度没变,只是接受率降了。
【极难发现】真正该报的不是 κ,是条件概率:P(论文确实值得收 | 两位评审都说收)。但它依赖两个通常被藏起来的参数——基础率(接受率)和评审误差的独立性。设单评审敏感度 0.70、特异度 0.90、基础率 0.15:
- 一位评审说收 → PPV = 0.105 / (0.105 + 0.085) ≈ 0.55
- 两位独立评审都说收 → PPV ≈ 0.90
- 两位共享同一套品味的评审都说收(误差完全相关)→ PPV 回到 0.55
也就是说,加评审的全部收益都押在「误差独立」这个假设上,而这个假设在同一个程序委员会里最不成立:他们读同一批 training、追同一批热点、共享同一个「什么算新颖」的直觉。相关误差不会因为多一个人而被平均掉——它只会被复制一遍。
【流程节点链路】起点:观察到「两位评审 90% 一致」 → 中间节点 1:取两位评审各自的边际接受比例 → 中间节点 2:用边际算出 Pe(偏斜时 Pe 被抬到 0.84 量级) → 中间节点 3:κ 被机械压低到 0.39 → 中间节点 4:拿 κ 跨不同接受率的会议比较,得出「信度在下降」的错误结论 → 终点:改报 P(值得收 | 都说收),并显式声明误差独立性假设。
【Devil’s advocate — 替 kappa 辩护】最强的反驳是:κ 低其实是对的。在 5% 接受率下,评审确实几乎不携带可行动信息——一个永远说「拒」的机器人就有 95% 准确率。κ 惩罚的正是「在偏斜分布上拿一致率自夸」,它度量的是超出 chance 的信息量,这在决策上恰恰是你想要的东西。所以错的不是 κ,是把 κ 当「评审员质量分」、拿它跨会议排名。这一条我接受:κ 是信息量指标,不是人的质量指标;PPV 是决策指标,不是信度指标。两者回答不同问题,报一个就够,但要报对的那个。
【一句话带走】看到「一致率」先问两件事:边际分布是什么?误差独立吗?这两问不答,一致率就只是修辞。
【留给你的辩论题】如果 κ 在低接受率下必然低,那么「降低接受率以提高质量」和「评审信度在恶化」这两件事,在指标上会长得一模一样。我们是不是正在用接受率亲手制造一场「评审危机」的读数?如果只能选一个:κ=0.75、接受率 30% 的会,还是 κ=0.40、接受率 8% 的会——你选哪个,理由是什么?






0 评论