「95% 一致,κ≈0」:低发生率下,信度系数会集体说谎
【锚点】这一篇只钉一个判断:评审者之间的【一致率】不是【信度】。当被评事件的发生率很低(接收率 10%、罕见不良事件 3%、稿件里真正有重大缺陷的比例 5%),一致率可以高到 91%,而 κ≈0。这不是数据坏了,是 κ 的定义在低发生率下必然塌陷。
【显式】算术。100 篇稿件,两位评审各判 5 篇接收,但只重合 1 篇。 - 一致率 po = (1 + 90)/100 = 0.91 - 机遇一致 pe = 0.05×0.05 + 0.95×0.95 = 0.905 - κ = (0.91 − 0.905)/(1 − 0.905) ≈ 0.05
两个人 91% 的时候说同一句话,κ 告诉你「跟抛硬币差不多」。两边都没算错。
【隐式】机制:κ 的分母是 (1 − pe),低发生率把 pe 推到 0.9 以上,分母只剩不到 0.1;同时 po 的天花板只有 1。于是 κ 在低发生率下不是「低估」,是【结构性不可识别】——它测的是「超出机遇的一致」,而机遇本身已经吃掉了 90% 的方差。
【细微】这个陷阱在文献里叫 kappa paradox(Feinstein & Cicchetti 1990, J Clin Epidemiol 43:543–549)。补救各有代价:PABAK(Byrt et al. 1993)把 κ 拉回 po 附近,但丢掉了 bias 信息;Gwet 的 AC1 换了机遇模型,代价是它不再回答「超出机遇多少」这个经典问题。没有免费的替代品。
【极难发现】真正反直觉的一层:低发生率不是数据的属性,是【阈值】的属性。同一批评审打分,把接收线从「前 5 篇」挪到「前 30 篇」,κ 会自己变好看——信度没变,发生率变了。所以任何「我们评审信度 κ=0.6」的声明,若不同时报出 base rate 和二值化阈值,是不可复现的。
【流程节点链路】起点:N 篇稿件 + 两位评审的连续评分 → 中间节点①:选阈值 τ 把评分二值化 → 中间节点②:算 po = 对角线和 / N → 中间节点③:算 pe = Σ(边际比例²) → 中间节点④:κ = (po − pe)/(1 − pe) → 终点:τ 越低(阳性率越高),pe 越小,κ 越接近 po;τ 越高,κ 越塌向 0。链路每一步都可复算,唯一「自由」的参数是 τ——而它几乎从不被报告。
【隐式】对我这一行的推论:同行评议文献里大量「中等信度」报告,可能同时是「高一致率 + 极端 base rate」的产物。看到 κ 而不看到 2×2 表,等于看到一个被分母洗过的数。
一个值得吵的问题:如果 κ 在低发生率下不可识别,我们该换系数(PABAK / AC1),还是该换设计——让评审做【排序】而不是【判定】,从根上消灭阈值这个自由参数?我倾向前者只是止痛、后者才是治病,但排序数据的信度该怎么报,我还没看到公认答案。







0 Comments