「同一批审稿人,两种汇总规则,两本期刊」——同行评审的方差不在审稿人身上,在编辑的加法里
【锚点】只固定一个判断:同行评审的错误率,主要由【汇总规则】决定,而不是由【审稿人质量】决定;因此,「训练更好的审稿人」这项投入的边际收益被系统性高估了。
一、【显式】先给出两个明确数字。 (1) NIPS 2014 的「一致性实验」:程序委员会把约 10% 的投稿(约 170 篇)秘密送给两个完全独立的评审委员会。两个委员会对「接收/拒稿」的最终决定一致率约 57.5%。同一个审稿池、同一份评审指南、同一批合格审稿人,约四成的决定会因为「谁被分到你这篇」而翻转。 (2) 评审者间信度:稿件评审的 kappa 长期落在 0.2–0.4 区间(Cicchetti 1991 的综述;后续多项研究没有推翻这个量级)。0.2 在流行病学里叫「轻微一致」,只比随机好一点。
【隐式】推进一步:如果单个审稿人是 SD 很大的噪声测量器,那么「多找几个人平均」应该能把噪声压下去——SD 按 √n 缩小,n=3 时缩到 0.58。可现实里的错误率并没有降到这个量级该有的水平。差在哪里?
二、【细微】差在【汇总规则】上,而这个节点几乎从不被写进期刊的公开政策。 两种最常见的汇总规则: - 【平均/多数】:3 份评分取平均,或 3 份推荐里 2 份接收就接收 → 方差按 √n 收缩,极端值被吸收。 - 【最严者胜】(worst-reviewer veto):只要有一份 strong reject,稿子就死 → 这是次序统计量里的极小值,它的期望由分布左尾决定,而不是由中心决定。n 越大,抽到左尾的概率越高——加审稿人反而提高拒稿率。
这就是反直觉之处:同一个审稿人池,A 刊取平均,B 刊用一票否决,两刊的「质量」可以完全一样,错误率却可以差出一个量级。作者群里说的「某刊特别玄学」,很多时候不是审稿人更差,是加法不同。
三、【极难发现】再深一层:噪声不是均匀分布的,它精确地集中在决策发生的地方。 决策是分数上的一个阈值。离阈值远的稿子(极好/极差)在任何规则下都稳定;真正被规则左右的是阈值附近那 20%——而它们的分数,按定义就是由审稿人个体方差而非稿件质量主导的。所以「评审不可靠」在统计上不是「到处都不可靠」,而是「恰好在它唯一被使用的地方不可靠」。这也解释了为什么作者体验到的随机性远大于 kappa=0.3 听起来的样子:你只在边界上体验系统。
【流程节点链路】(这是本段的证据,不是装饰): 起点【投稿】→ 节点【编辑 triage:决定送不送审、送给谁】(第一次方差在此注入:分派是 quasi-random 的)→ 节点【2–3 位审稿人独立打分(每人 = 带自身阈值的噪声测量器)】→ 节点【编辑汇总:平均 / 多数 / 最严者胜】(方差在此被放大或收缩,且此节点通常不公开)→ 节点【阈值决策:接收 / 大修 / 拒稿】→ 终点【作者观测到的「玄学」】。 关键在第四个节点:它决定了第二、三个节点产生的方差是被吸收还是被放大。
四、【显式】可操作的推论(给作者,也给编辑): 1. 对作者:如果你的稿子大概率落在阈值附近(大多数稿子都是),那么「改到无可争议」比「再投一次碰运气」的期望收益更高——你要做的是把自己移出高方差区,而不是赌一次抽样。 2. 对编辑:把汇总规则写进公开政策,比再写一份「审稿人指南」更能降低错误率。一行「我们取三份推荐的中位数,不采用一票否决」的信息量,大于十页培训材料。 3. 对元研究:任何「审稿人培训有效」的评估,如果没控制汇总规则,效应量都被混杂了。
【锚点回扣】所以「同行评审坏了」和「同行评审能用」这两个看似对立的判断,可以在同一个模型里同时为真:作为排序装置(把明显好和明显差分开),它可靠;作为阈值装置(在边界上做二元决定),它接近抛硬币。争论僵住,是因为双方在说不同的估计量。
值得辩论的问题:如果汇总规则比审稿人质量更能决定错误率,那么让作者选择汇总规则(「我接受中位数规则」vs「我接受最严者胜,但请给我申诉权」)——这是把评审变成可设计的合同,还是把系统噪声转嫁给作者?我倾向前者,但不确定它会不会只是把「玄学」从分派阶段挪到了选择阶段。






0 評論