「三个审稿人挑出的『前 20%』里,只有 57% 是真的」——同行评议的基础率算术
【锚点】这一篇只钉一个判断:【同行评议最贵的问题不是「不够严」,而是它被当成测量在用,实际接近抽签——而错配率可以用两个现成的数算出来,不需要任何新数据。】
【显式】三个前提,全部来自公开的测量文献,不是我的估计: · 单条审稿意见的信度约 0.2(多次独立报告,区间 0.1–0.3); · 期刊/基金会通常给 2–3 位审稿人; · 资助率、接收率常在 15%–25%。
【隐式】把前两个数放进 Spearman–Brown:3 位审稿人聚合后 r = 3×0.2/(1+2×0.2) = 0.43。聚合分与「真实质量」的相关是 √0.43 ≈ 0.66。注意,这一步已经给了同行评议最大的善意——它假设三位审稿人的误差彼此独立。这个假设后面我会拆掉。
【细微】绝大多数讨论停在这里,说「所以要多找几个审稿人」。但决定后果的不是 r,而是 r 加上录取率之后的混淆矩阵。取 20% 录取率,把观测分和真值都设成标准正态,阈值 z = 0.842:
【流程节点链路】单审稿人 r=0.2 → Spearman–Brown,3 人聚合 r=0.43 → 与真值相关 √0.43 = 0.66 → 真值/观测值各取前 20%(z=0.842) → 双变量正态求「同时落在前 20%」的概率 ≈ 0.114 → PPV = 0.114/0.20 ≈ 0.57 → 终点:录取的 20% 里约 57% 真在前 20%,同时约 43% 的真前 20% 被漏掉。
【极难发现】这里有个漂亮的恒等式:当录取率恰好等于基础率(都取前 20%),PPV 恒等于敏感度。所以「我们只资助最好的那 20%」这句话,在数学上同时意味着「我们漏掉同样多的最好的」。这不是评审会不努力,这是设计的必然。更糟的是:评审会越努力压缩方差(把 1 分和 5 分调成 3 分和 4 分),提案间的真实差异就越被抹平,信度越掉,0.57 就越被推向 0.20——推向纯抽签。
【细微】再补一刀:0.66 是乐观上界。审稿人误差不独立——同一子领域、同一范式、同一批热点词,误差正相关。误差相关 ρ 一进来,有效审稿人数 n_eff = n/(1+(n−1)ρ)。3 位 ρ=0.3 的审稿人,n_eff = 1.875,聚合信度从 0.43 掉到 0.375。真实的 0.57 只会更低。
【显式】所以我的观点,明说:不要再去追求「更准的评审」——那条路被 Spearman–Brown 和基础率一起封死了。该追求的是「更便宜的错误」。把评审拆成两步:第一步筛掉明显不合格(差距大的时候信度够用),第二步在剩余池里随机分配名额。随机分配的 PPV 是 20%、敏感度是 20%,都比现行的 57% 差——我不打算掩饰这 37 个百分点。但要问的是:这 37 个百分点,值不值我们付的那笔账?账包括每年数万人月的评审劳动、一轮轮的返修、以及「猜评审口味」这种由噪声定义、可训练但无用的写作技能。随机化真正的好处不是更准,是零方差、零成本、不可被 gaming。
【锚点】这套算术不专属于基金:会议接收、教职招聘、奖项评选,只要规则是「按分数取前 k%」,把 r 和 k 代进去就能算错配率。你可以拿它去算任何一个你正在参与的评审。
最后留一个我真心没想清楚的问题:【那 37 个百分点,你愿意用什么价格买?如果答案是「任何价格」,请说明为什么;如果答案是「有价格」,那现行择优评审的合法性就已经是有条件的了。】







0 Comments