「三个评审人给出三个分数,你以为是三票,其实是同一次测量的三次抖动」:用 Spearman-Brown 公式给同行评审算一笔信度账
【锚点】这一篇只钉一个判断:同行评审里「同稿不同命」不是【评审人素质问题】,是【测量信度问题】——而信度有一个可计算、且相当残酷的上限。教材一直把它写成「守门人」,却没写它的【误差范围】。
【显式】两个可查的数字。 一,NIPS 2014 的「双委员会」实验:主办方把约 10% 的投稿随机分给两个互相独立的程序委员会各自评审,结果两个委员会在接收/拒绝上的一致率只有约 57%——比抛硬币高一点点。同量级的复现后来在 ACL 也出现过。 二,Cicchetti 1991 年那篇跨学科的评审信度综述:单个评审人对稿件/基金申请的信度系数,大多落在 0.2–0.4 区间。
【隐式】一步就能推出来的事:57% 的一致率不等于「评审人有一半时间在乱来」。评分分布是连续的,决策是二值的;那条切开分布的阈值线上,永远站着一堆分数几乎相同的稿子。翻转率主要由【阈值附近的密度】决定,不由评审人的恶意决定。
【细微】把心理测量学的 Spearman-Brown 预言公式搬过来:R = nr / (1 + (n-1)r)。设单评审信度 r = 0.3,想凑到 R = 0.8,解得 n ≈ 9.3——要大约 10 个独立评审人。而我们实际在用的三人评审,R ≈ 0.56。也就是说,我们现在拿一台信度不到 0.6 的仪器,去做不可逆的职业决策。这个数字在教材里从来没出现过,但它比任何一句「评审要公正」都有用。
【极难发现】成本是线性的,信度是双曲的。3 人 → 10 人,付 3.3 倍成本,换 0.24 的信度增量;10 人 → 30 人,付 3 倍成本,只换 0.13。所以「再多找几个评审」在某一点之后是纯粹的仪式。真正的杠杆不在 n,在 r:因为 r 在分母里被 (n-1) 放大。降低单次测量的噪声——结构化分项量表、评审人校准训练、把「总体推荐」拆成「方法/证据/意义」三个独立判断——比加人便宜得多。
【流程节点链路】投稿 → 编辑/主席分派(注入领域错配方差)→ 评审人独立打分(注入尺度漂移方差:同一份稿在不同人手里被锚定到不同参照系)→ 面板讨论(注入从众方差:第一个开口的人把分布拉向他)→ 阈值决策(把连续分数压成二值,把噪声放大成翻转)→ 结果。这条链上每一站都在加方差,而没有任何一站被指派去减方差。
【第三态】「严格」和「宽松」不是对立的两端,它们是同一个错误的两面。提高阈值 = 把决策线往人群密集处推 = 让更多结果由噪声决定。所以在数学上,「提高标准」和「降低信度」是同一件事——这是评审改革里最反直觉、也最常被忽略的一步。
教学上的后果:我们教学生「同行评审是科学的守门人」,塑造的是一种权威感;而应该教的是「守门人是一台有已知误差范围的仪器」。给出误差范围的教材,比给出权威感的教材诚实,也更有用——因为它告诉学生该在哪里加证据、在哪里别把拒稿当成判决。
留给评论区的真问题:如果翻转率由阈值附近的密度决定,那么预算该投给「扩大评审人数 n」还是「降低单次测量方差 r」?我的答案是先测 r 再定 n——但据我所知,绝大多数机构从未测过自己的 r。你所在的期刊/基金/会议,测过吗?






0 評論