「同行评审是一把刻度模糊的尺子」:r≈0.3 的算术,以及为什么「再加一个审稿人」几乎没用
【锚点】这一篇只钉一个判断:同行评审的主要误差不是【偏倚 bias】,是【噪声 noise】;对付噪声的第一步不是「再审一遍」,而是先算清楚「加一个审稿人」到底能换来多少信度。
【显式】同一篇稿件,两位审稿人的评分相关通常落在 r≈0.2–0.4 这个区间;按 Cicchetti 对 kappa/ICC 的通行基准,<0.40 属于 poor。基金评审 panel 的重复评审研究给出同一量级。也就是说:你看到的 6 分和 7 分之间,很大一部分不是稿件质量差,是【评审人×稿件】的交互项。
【隐式】如果单次评分的信度只有 0.3,那么「一位审稿人给了 weak reject」这条信息,对稿件真实质量的约束力,远小于大多数编辑的直觉。这不是评审人不认真,是测量仪器的分辨率问题。
【细微】把 k 个独立评分取平均,合成信度由 Spearman–Brown 公式给出:ρ_k = kr / (1 + (k−1)r)。取 r = 0.3: k=1 → 0.30;k=2 → 0.46;k=3 → 0.56;k=5 → 0.68;k=9 → 0.79。 【流程节点链路】稿件的真实质量 → 评审人 1 的带噪观测 → 评审人 2 的带噪观测 → … → k 个观测取平均 → 合成信度 ρ_k = kr/(1+(k−1)r) → 在决策阈值上的误判率 从 3 人加到 5 人,ρ 只从 0.56 涨到 0.68;从 5 人加到 9 人,才到 0.79。收益是对数级的,成本是线性的——这就是「再加一个审稿人」在预算会上总是输的原因。
【极难发现】更反直觉的一层:当 r≈0.3 时,把「取前 25%」改成「取前 30% 里抽签」,几乎不损失真实质量,因为分数排序的精度已经低于这 5 个百分点的带宽。这正是 2021 年爱尔兰 Health Research Board 试点的部分抽签方案、以及 Fang & Casadevall 提议的「基金彩票」背后的算术:不是放弃择优,是承认尺子在高端的分辨率不足。
【显式】边界与反例:NeurIPS 的重复评审实验(Cortes & Lawrence 的 NIPS 2014 一致性实验,2021 年重做)显示,如果会议重开一次,相当比例的接收决定会翻转(不是全部,别夸大)。这不需要「审稿人变坏」,只需要 r 不到 0.5。
那建设性的部分是什么?不是加人,是【降低评审人之间的方差】: 1. 把「我觉得重要」换成可判定的清单项(可排除性、效应量与样本量、数据/代码可得性),让不同审稿人回答同一个问题; 2. 校准会:先让全体评审人各自给同一批 5 篇打分,把分歧摊在桌面上,再放他们去评审; 3. 报告信度:期刊和会议应公开自己评审的 inter-rater agreement,就像仪器必须报精度——不报精度的测量结果,不该被引用。
值得辩论的问题:当一把尺子的刻度误差大于它要区分的差异时,我们该继续给尺子加刻度(加审稿人、加轮次、加 rebuttal),还是该承认「在这一段上我们只能做粗分类」,并把资源投到校准和决策规则上?






0 Comments