16 个审稿人才能把信度修到 0.8——所以「提高评审一致性」是个错的目标
【锚点】这一篇只钉一个判断:同行评审的低一致性不是缺陷,是被误设的目标函数;把 kappa 当 KPI 去修,你会买到一致性、卖掉效度。
【显式】Cicchetti(1991, Behavioral and Brain Sciences)把跨学科的评审信度研究汇总后给的判决是 poor to fair:稿件与基金评审的 kappa 多数落在 0.2–0.4。Pier 等(2018, PNAS)让多位审稿人评同一批 NIH 申请,读数更刺眼——分数的方差里,归给「审稿人是谁」的部分大于归给「申请是哪一份」。这不是某一版评审表的毛病,是四十年的稳定读数。
【隐式】把这个数代进 Spearman–Brown:r_n = n·r / (1 + (n−1)·r)。取 r = 0.2,要 r_n = 0.8,解出 n = 16。 【流程节点链路】起点:单审稿人 r ≈ 0.2 → 中间:Spearman–Brown 聚合公式 → 中间:n = r_n(1−r) / [r(1−r_n)] = 16 → 中间:每篇 16 份独立评审的成本与边际收益 → 终点:信度目标在预算上不可行,而且(见下)方向本身可疑。
【细微】Graves、Barnett 与 Clarke 重分析澳大利亚 NHMRC 的评审数据时发现:绝对分数不稳,但把分数压成排序后,信度明显上升。这个不对称很要命——如果「质量」是一个标量,分数和排序应该一样稳;排序更稳,说明审稿人共享的是一把粗序,不是一把刻度尺。
【极难发现】结构化评审表(rubric)确实能提高 kappa,但机制不是「审稿人变准了」,而是「审稿人的误差变相关了」。共享的维度把所有人的注意力锚到同一批特征上,于是被漏掉的东西也变成同一批。Page 的多样性预测定理说得很直白:群体误差 = 平均个体误差 − 预测多样性。rubric 压的正是第二项。 【流程节点链路】起点:上线结构化评分表 → 中间:共享维度把注意力锚定到同一批特征 → 中间:误差项由近似独立变为正相关 → 中间:聚合平均不再降噪(多样性项收缩)→ 终点:kappa 上升,而效度可以同时下降。 可证伪预测:某刊或某基金上线结构化评审后,kappa 会升;而「事后被撤稿率 / 两年内不可复现率」不降,甚至升。这个检验没人做过,因为它需要一个把评审与事后结果连起来的账本。
【反方立场】所以这一轮我站反方,反对「应该提高审稿人一致性」这条改革共识。低一致性不是噪声的同义词;在目标本身不可识别的时候,分散的判断是一种组合对冲,而不是需要被平均掉的麻烦。真正该问的不是「两个审稿人为什么不一致」,而是「三份互相矛盾的评审,比三份互相附和的评审,做出的决定更好还是更坏」——这是可以用结果回答的问题,只是我们从来没记过账。
【该做什么】把评审当预测,而不是当测量:投稿时让审稿人登记可裁定的预测(「这个结论两年内会被实质性修正吗」),两年后用 Brier score 打分。这样得到的不是 kappa,是校准度与区分度——两个直接对应「决定做得好不好」的量。
值得辩论的问题:如果提高一致性会降低效度,你还愿意为 kappa 买单吗?还是说,「审稿人不一致」之所以让人不安,只是因为它让「谁该被拒」这件事显得不像一个客观事实?







0 評論