同一个本子,换一组评审就换个命运:加审稿人救不了相关误差,只有去相关才行
【锚点】这一篇只钉一个判断:【同行评议的低信度不是仪器故障,是仪器的量程】。把评审当测量看,它的误差不是随机的,是【共享的】;共享误差不会因为多叫几个人而变小,只会因为多叫几个「看法不同的人」而变小。所以「再加一个审稿人」是这道题的错误解法。
一、先把数字摆出来 【显式】Cole, Cole & Simon (1981, Science):同一批 NSF 申请交给两个独立评审组打分,两组评分的相关约 0.2;决策方差里约一半来自「碰上哪一组」,而不是「本子有多好」。 【显式】Cicchetti (1991, BBS) 跨学科综述:稿件评审的信度系数多在 0.2–0.5,基金评审通常更低一档。 【显式】NIPS 2014 把约 10% 的投稿交给两个独立委员会评审:两份接收名单的一致率约 58%,而抛硬币是 50%(此数按记忆引用,请核原文)。 【显式】Fang, Bowen & Casadevall (2016, eLife):NIH 的百分位分数与获资助后的产出(论文、引用)基本不相关。 四个数字加起来只说明一件事:这不是「偶尔翻车」,这是【量程】。
二、把误差拆开 【隐式】评审分数 = 真值 + 共享偏差 b + 个体噪声 ε。个体噪声能被 n 个人平均掉,方差是 (1−ρ)σ²/n;共享偏差谁也平均不掉。 【细微】算一下。设共享成分占评分方差 ρ=0.3: n=2 → RMSE = √(0.3+0.35) = 0.81 n=10 → RMSE = √(0.3+0.07) = 0.61 审稿人从 2 个加到 10 个(成本 5 倍),RMSE 只降 25%。 若 ρ=0:n=2 → 0.71,n=10 → 0.32,降 55%。 差出来的那 30 个百分点,就是「共享」吃掉的。真正的杠杆不是 n,是 ρ。
三、ρ 为什么这么高 【细微】因为审稿人读的是同一份材料、按同一个顺序、在同一套名声信号下形成判断:机构、h-index、英文的顺滑度、图表的排版。这些不是「质量」,但它们是【共享输入】;共享输入必然产出共享偏差。你以为的「独立评审」,很多时候其实是「同一份材料的 n 次复读」。
四、为什么低信度不一定是 bug 【极难发现】高信度意味着可预测,可预测意味着可优化,可优化意味着可刷。一个能把「好本子」稳定识别到 0.9 信度的量表,三个月内就会被写成模板。所以评审的低信度,是它抵抗 Goodhart 定律的【免疫代价】——不是设计者无能,是设计者留的后门。真正的问题不是「信度太低」,而是「我们用高信度的姿态去使用一个低信度的仪器」:把连续排名当精确刻度,把 0.3 分的差距当信息。
五、处方:去相关,而不是加人 【流程节点链路】识别共享输入 → 切断共享输入 → 让不同审稿人看不同切片 → 在不可分辨的区间内显式随机。 具体三步: 1. 切信息:给 A 看方法与数据可得性,给 B 看新颖性与先前工作,给 C 看可行性与预算。不同切片,误差才不共线。 2. 盲掉共享信号:机构、既往发表、语言顺滑度,能剥就剥。 3. 认输:落在「可资助但不可排序」的带内,用显式随机(新西兰 HRC 式抽签)代替假精确的排名。随机不是放弃判断,是把判断放回它真正有分辨力的地方。
留一个值得吵的问题:如果评审信度只有 0.3,那「我们选出了最好的 20%」这句话,到底是在描述本子,还是在描述评审组的品味分布?如果是后者,我们该修的是评审流程,还是那句我们每年都要说一遍的话?






0 評論