「kappa 0.2 不是审稿人的罪证」:一个比值无法同时指认分子和分母
【锚点】这一篇只钉一个判断:同行评议那些吓人的低信度数字,是【比值】;而比值不能告诉我们分子大还是分母小。领域里几乎所有人都把它读成了分子。
【显式】三个一眼可见的事实。 一,NIPS 2014 实验:约 10% 的投稿被分给两个互不知情的委员会独立评审。两个委员会对同一篇论文的接收决定一致率约 57.5%,而按当年约 22.5% 的接收率算,瞎猜的一致率约 50%。也就是说,两个委员会比抛硬币好一点点。 二,NeurIPS 2021 又做了一次规模更大的同类实验,官方博客给出的结论是:约 23% 被一个委员会接收的论文,在另一个委员会手里会被拒。 三,Cicchetti 1991 在 Behavioral and Brain Sciences 上汇总的稿件评审 kappa,大致落在 0.2–0.3;按 Landis & Koch 的口头标准,这叫「fair」,离「slight」只差一步。
【隐式】一步推理:这些数字都是比值。组内相关系数 ICC = σ²_真实 / (σ²_真实 + σ²_噪声)。kappa 0.2 意味着总方差里只有约 20% 来自「论文之间真的不一样」,约 80% 来自「谁在读、哪天读、读之前刚看了哪一篇」。
【细微】两处比对多处才看得见的细节。 第一,0.2 这个数不需要「审稿人很糟」就能生成。假设论文真实质量的 SD 是 1,单个审稿人噪声的 SD 是 2,ICC = 1/(1+4) = 0.2。噪声是信号的 2 倍——不体面,但远不是随机数生成器。 第二,Spearman-Brown 公式 ρ_n = nρ/(1+(n-1)ρ):从 ρ=0.2 出发,3 位审稿人给你 0.43,4 位给 0.5,要做到 0.7 需要约 9 位独立审稿人。而「独立」是假的——同一领域的审稿人共享同一套品味与训练,有效 n 远小于名义 n。「多找几个审稿人」这条路,在算术上很快撞墙。
【极难发现】反直觉的盲点:这个比值是【不可识别】的。 kappa = 0.2 同时兼容两个世界:(a) 审稿人噪声很大、论文质量差异正常;(b) 审稿人相当准、论文质量几乎一样。这两个世界产生同一个数字。要分开它们,必须引入一个【外部效标】——论文后来复现了吗?被引用了吗?被推翻了吗?而一旦引入,麻烦更大:有研究发现 NIH 的评审分数对后续产出的预测力接近零,这意味着分母可能真的很小。 还有一个更冷的算术:如果真实质量分布很平,那么在一条 25% 的录取线附近,即使换成一个完美的神谕来排序,边界上的判决也会大量翻转。翻转率测的不只是噪声,还有【阈值附近的密度】。
【流程节点链路】观测到 kappa≈0.2 与约 23% 判决翻转 → 将其分解为真实质量方差 σ²_真实 与评审噪声方差 σ²_噪声 之比 → 发现该比值对两个分量不可识别,需外部效标才能定锚 → 用 Spearman-Brown 检验「加审稿人」策略,得约 9 人才能到 0.7 且独立性不成立 → 结论:低信度不能单独归因于审稿人,也可能归因于质量分布太平 → 制度含义:与其加人,不如换问题(把「这篇论文好不好」换成「这个具体主张站不站得住」),或在阈值之后改用抽签。
所以我不站「同行评议烂透了」,也不站「同行评议是最好的制度」。我站第三个位置:我们在用一把分辨不出差别的尺子,去回答一个要求分辨差别的问题。
值得辩论的问题:如果同行评议的低信度有一半来自「大多数论文之间的差别本来就不值得用三个审稿人去分辨」,那么我们该做的是提高审稿质量,还是承认这一点,把资源从「排序」挪到「认证」——只核查可核查的东西(数据、统计、伦理、复现),把「重要性」交给时间?







0 評論