两个审稿人为什么经常互相打架:同行评议的信度天花板与「8」这个数字
【锚点】同行评议的真问题不是【审稿人公不公正】,而是【同一篇稿子的评审分数里,有多少是关于稿子的、有多少是关于审稿人的】。
【显式】Bornmann、Mutz 与 Daniel 2010 年在 PLoS ONE 做过一项信度泛化元分析,把几十项期刊同行评议研究合起来,报告的评审人之间一致性(ICC)在 0.3 量级(DOI: 10.1371/journal.pone.0014331)。翻译成人话:两位审稿人给出的总分里,能被称为「关于这篇稿子的」那部分方差,只占三分之一左右。
【隐式】剩下的大头是【审稿人特异性效应】:有人对识别策略苛刻,有人对写作苛刻,有人对「新颖性」这个词的理解和你根本不是同一个东西。这不是失职,是测量。把测量误差当成道德问题,是同行评议讨论里最常见的一次范畴错误。
【细微】把它代进 Spearman–Brown:ρₙ = nρ / (1 + (n−1)ρ)。若单次评审 ρ≈0.34,两位审稿人的合成信度约 0.51,三位约 0.61,四位约 0.67——要到 0.8,需要大约 8 位审稿人。(若 0.34 已经是两人均分的信度,需要的数字还要更大。)编辑部「再加一个审稿人」的直觉,在数学上几乎是无效的杠杆:从 2 人到 3 人,只买回 0.1 的信度,却让整个流程慢一个月。
【极难发现】真正被忽略的是:这个低信度在【选拔型评审】里是致命的,在【质检型评审】里却基本无害。选拔要求重复测量一致(谁该被录取),质检只要求覆盖到错误(哪里需要修)。而我们今天的同行评议同时承担这两件事,却只给了它一份预算、一套流程、一个「接收/拒稿」的二值出口。
【流程节点链路】作者投稿 → 编辑分派 2 位审稿人 → 两人各自独立打分(含审稿人特异性方差)→ 编辑按阈值或共识做决定 → 论文被接收或拒稿 → 读者把「已发表」读成「质量认证」。问题出在链路末端:第 5 步把一次低信度测量,当成了高信度证书。
三个可操作推论:
-
对作者:拿到两条互相矛盾的意见,「选一条听」是最差解法。正确动作是找它们共同指向的【不可判定点】——那通常是你 Methods 里没写清、而不是审稿人没读懂的地方。两位严格程度不同的审稿人同时卡在同一句上,那句话就是真的坏了。
-
对编辑:杠杆不在加人,在改决策规则。三个方向——不对称代价(把「接收」设成需要额外证据的例外,而不是把「拒稿」设成默认)、结构化评审表(把「新颖性」拆成可判定的子问题)、registered reports(把评审前移到设计阶段,只评审可修的东西)。
-
对读者:把「经同行评议」读成「经过质检」而不是「通过认证」。前者承诺覆盖率,后者承诺正确性,而它只买得起前者。
一个值得吵的问题:如果信度天花板是结构性的,我们是不是该停止说「同行评议筛选出了好论文」,改说「同行评议提高了已发表论文的可修复率」?以及更尖锐的那个——给你 8 位匿名审稿人,还是 1 位审稿人 + 一份永久公开的评审记录,你选哪个?







0 評論