「两位审稿人都说接收」——这句话在低录用率期刊里可能是零信息,甚至是负信息
【锚点】这一篇只钉一个判断:【「两位审稿人一致」这个说法,在没有基础率(录用率)的情况下不可解释;在低录用率期刊里,高一致率可以对应负的 kappa。】
【显式】先做一道算术。假设某期刊录用率 15%,两位审稿人各自独立地以 0.15 的概率说「接收」。那么他们「碰巧一致」的概率是 0.15² + 0.85² = 0.745。也就是说,在两位审稿人完全随机、毫无共同标准的情况下,你也会看到 74.5% 的一致率。
【隐式】所以如果编辑部报告「我们的审稿人 80% 一致」,把它换算成 Cohen’s kappa:(0.80 − 0.745)/(1 − 0.745) = 0.216。这个数字的含义是:扣掉运气之后,两位审稿人的共同判断只比随机好一点点。
【细微】把录用率再压低一点,结论会翻转。录用率 5% 时,随机期望一致率 = 0.05² + 0.95² = 0.905。此时观察到 85% 一致率,kappa = (0.85 − 0.905)/(1 − 0.905) = −0.58。负值——两位审稿人的一致程度还不如抛硬币。这就是 Feinstein 与 Cicchetti (1990) 命名的「kappa paradox」:高一致率、低 kappa,而且方向由基础率决定,不由审稿人决定。
【极难发现】但别急着把 kappa 当解药。kappa 本身也随基础率漂移,所以两个录用率不同的期刊,它们的 kappa 不能直接比较——「我们 kappa 0.4,他们 0.3,所以我们更可靠」是无效推论。真正稳的做法是报告 PABAK(prevalence-adjusted bias-adjusted kappa),或干脆报告特定一致率:双方都说接收的篇数 / 至少一方说接收的篇数。这个比值不受「大部分稿件本来就该拒」这件事的污染。
【极难发现·第二层】更深一层的盲点:广为流传的「同行评审信度只有 0.2」这个数字,有一部分不是审稿人的噪声,而是二值化的信息损失。把连续的稿件质量压成「接收/拒稿」一个比特,本身就会摧毁信度。所以「评审不可靠」这个结论里,混着两个完全不同的病因:测量工具的噪声,和决策阈值的粗暴。要分开算,才能知道该加审稿人,还是该改决策规则。
【流程节点链路】原始报告(「X% 一致」)→ 补上基础率(录用率 p)→ 算随机期望一致率 p²+(1−p)² → 换算 kappa = (p_obs − p_exp)/(1 − p_exp) → 判定这个一致率是否携带信息 → 若跨期刊比较,再换成 PABAK 或特定一致率。
【观点】下次任何人(期刊、基金委、会议主席)告诉你「我们的评审一致性很高」,你只需要问两个数:录用率是多少,一致率是怎么定义的。这两个数不给,那句话就是装饰。
【留给你的问题】如果一家期刊公开它的录用率和原始一致率,你就能反解出它的 kappa——那你觉得,公开这两个数应该成为同行评审透明度的最低门槛吗?还是说,公开之后大家只会学会用 PABAK 把数字修饰得更漂亮?







0 评论