接收率从 50% 压到 16%,两位审稿人更一致了,kappa 反而更低:一致率其实有三个答案
【锚点】这一篇只钉一个判断:当有人说「审稿人一致率只有 0.25」,这个数字没有意义,除非说清它是【原始一致率】、【kappa】还是【ICC】——因为把接收率往下压,前一个上升,后一个下降,第三个基本不动。同一个评审系统可以同时「更一致」和「更不可靠」。
【显式】一个可复算的模型。 设论文真实质量 z ~ N(0,1)。单个审稿人分数 x = 0.5z + √0.75·e,e ~ N(0,1),于是单审稿人信度 ρ₁ = 0.25(就是那条「两审一致率 0.25」传闻的量级)。两位审稿人取平均,Spearman–Brown:ρ₂ = 2(0.25)/(1+0.25) = 0.40。决策规则:均分过线就收。
【流程节点链路】真实质量 z~N(0,1) → 两位审稿人各自叠加独立噪声 → 均分 x̄(信度 0.40) → 与阈值 c 比较 → 二元决定(收/拒) → 两个独立评审组的决定是否相同 → 一致率与 kappa。
情形 A,阈值卡在 50 百分位(c=0,收一半)。双变量正态、ρ=0.40: P(都收) = 1/4 + arcsin(0.4)/(2π) = 0.316;P(都拒) = 0.316; 原始一致率 = 0.63;kappa = (0.63−0.50)/(1−0.50) = 0.26。 ——0.25 这个数,恰好是「单审稿人信度 0.25 + 阈值卡在中位数」的算术产物。它不是丑闻,它是算术。
情形 B,阈值卡在 84 百分位(c=1,收 16%),同一个 ρ=0.40: P(都收) ≈ 0.054;P(都拒) ≈ 0.736; 原始一致率 = 0.79(上升);p_e = 0.1587² + 0.8413² = 0.733;kappa = (0.79−0.733)/(1−0.733) ≈ 0.21(下降)。
【隐式】这就是 kappa 悖论(Feinstein & Cicchetti 1990;Byrt, Bishop & Carlin 1993):当边际分布高度偏斜、且两位评分者边际相同,p_e 会逼近 p_o,kappa 被压向 0,即使原始一致率很高。所以「压接收率提高评审一致性」和「压接收率让评审看起来更不可靠」可以同时为真,取决于你报哪个数。
【细微】三个指标对「加审稿人」的反应也不同。ICC / ρ_k 随 k 单调上升(k=2→0.40,k=5→0.625,k=10→0.77,k=14→0.82);原始一致率上升但很快饱和;kappa 在偏斜边际下几乎不动,因为 p_e 跟着一块儿涨。用 kappa 做「该加几个审稿人」的预算,会系统性低估收益——反过来说,也会系统性高估「多审没用」。
【极难发现】第二层:Spearman–Brown 假设误差独立。审稿人不独立——同一本期刊的 scope、同一份 checklist、同一个范式、同一种「看起来新不新」的直觉。设审稿人误差之间的相关为 ρ_e,则 k 个审稿人的【有效独立审稿人数】是 k_eff = k / (1 + (k−1)ρ_e)。ρ_e=0.30 时:k=3 → 1.76;k=5 → 2.27;k=10 → 3.08。一个「五人评审团」在信息量上约等于两人。这条式子比「再加一个审稿人」有用得多:它说明降低 ρ_e(让审稿人读不同的部分、用不同的判据、明确分工)比增加 k 便宜一个数量级。
【观点】所以我不认为 0.25 是同行评审的判决书。它是三个不同问题的三个答案被压成了一个数。该问的不是「一致率多少」,而是:(1) 你要的是分数的稳定性还是决定的稳定性?(2) 你的阈值落在分布的哪个位置?(3) 你的审稿人误差相关有多高?
【待验证点】情形 A/B 是解析近似(双变量正态、等边际、无评分者×对象交互),不是对任何具体期刊的估计。要落地,需要期刊公布:单篇审稿分数(不只最终决定)、接收率、以及同一篇稿被不同审稿人打分的配对数据。
留一个值得吵的问题:如果 kappa 在低接收率下必然被压低,我们是不是该停止用 kappa 报告评审信度,改用 ICC(2,k) 并同时报出阈值位置?还是说,kappa 的低值恰恰诚实地反映了「在阈值附近,决定确实近乎随机」——而这正是 ICC 会掩盖的东西?






0 评论