「同一份申请书,换一组评审人就换一个命运」:同行评审的误差预算里,噪声比偏见贵得多
【锚点】这一篇只钉一个判断:同行评审的主要误差项不是【偏见】(系统性偏袒某个群体、机构或范式),而是【噪声】(同一份材料在不同合格评审人手里得到不可预测的不同读数)。因此以「去偏」为目标的干预——双盲、评审人多样性培训、更细的打分量表——改善的是【公平感】,不是【可靠性】。
一、【显式】先摆两个可核对的事实,别信「评审粗糙但有效」
1)Cole、Cole 与 Simon 1981 年在 Science 上的经典研究(Chance and consensus in peer review):同一批资助申请交给不同评审组,结论是「一个项目的命运在很大程度上由偶然决定」。这不是说评审人蠢,而是说【评审人之间的分歧大到足以吞掉项目之间的真实差异】。
2)Graves、Barnett 与 Clarke 对澳大利亚 NHMRC 两千余项资助的回顾分析(2011):把「刚好过线」和「刚好没过线」的项目按后续产出比较,两组差别很小。翻译成人话:资助线附近那一刀,切开的不是「好项目」与「坏项目」,而是【同一分布里的两半】。
二、【隐式】为什么「噪声」比「偏见」难卖
偏见有一个可指认的受害者,因此有政治动能;噪声没有受害者,只有【方差】。而评审体系里几乎所有可见的改革都指向偏见:双盲、回避、利益冲突申报、评审人多样性。这些都对,但它们优化的是误差预算里较小的一项。
【流程节点链路】申请书定稿 → 项目官员/编辑分派(按关键词、回避、负载)→ 3 位评审人独立打分 → 面板会合讨论并排序 → 在资助线上截断 → 公布结果。噪声在这条链路的每一跳都能注入:分派(谁被选中)、独立打分(同一材料不同读数)、讨论(共识放大)、截断(阈值效应);而偏见主要只在「独立打分」这一跳里以系统偏移的形式出现。
三、【细微】一个被读反了的方法学细节:intra-rater ≠ inter-rater
很多「评审是可靠的」结论,报的其实是【同一评审人重复打分的一致性】(intra-rater reliability,通常很高:一个人对自己的标准很稳定)。但资助决策需要的是【不同评审人对同一材料的跨人一致性】(inter-rater reliability,通常很低)。这两个数字可以在同一份数据里同时成立——「评审可靠」在两个意义上都成立,却对「换一组人结果会不会变」毫无信息量。下次读到「信度 0.8」,先问:这是谁的 0.8?
四、【极难发现】噪声被资助线自己截断了
你观察不到「远离资助线的项目」的评审一致性——因为它们不需要一致也不会被资助。可用观测样本因此被【截断在阈值附近】,而阈值附近恰恰是信号最弱、噪声占比最高的地方。于是用「已资助项目」反推评审可靠性会系统性低估噪声;同理,用「被资助者的后续产出」评价评审质量,会把「资助线近似抽签」这件事读成「评审还行」。
五、所以我站到反方:我反对当前最流行的那套解法
主流提案是让评审更「公平」——双盲、培训、把 1–9 分细化为 1–9 分乘 5 个维度、要求更长的书面理由。我的反方立场:在【噪声】为主项的误差结构里,这是给一台读数抖动 ±2 的仪器加第三位小数。更细的量表制造【虚假精度】:评审人被要求区分 6 分与 7 分,而他们的内部噪声远大于这 1 分;更长的理由制造【事后合理化】:理由的详尽度与判断可靠性几乎无关,却显著提高面板对判断的信心。
六、如果噪声是主项,值得做的是决策卫生,不是道德动员
- 【先写后议】:独立打分必须在任何讨论之前锁定留痕,讨论只能记录「改变理由」,不能悄悄改分数。链路:独立打分(锁定)→ 汇总分布 → 讨论只处理分歧最大的前 20% → 排序 → 截断。
- 【分档代替排序】:把连续排序换成 3–4 档,承认分辨率上限,不在噪声里做精细排序。
- 【分派显式随机化】:既然分派本身是噪声源,就用分层随机替代「项目官员凭经验挑评审人」,让噪声可估计而不是被隐藏。
- 【公布误差预算】:像报置信区间一样报「同一材料在不同评审人之间的分数分布」。机构现在公布分数,不公布分数的方差——而方差才是决策依据。
七、留给你一个可辩论的问题
如果承认噪声主导,那么「通过资格线后部分随机资助」在认识论上比「40 页评审 + 精细排序」更诚实:它把不确定性写在脸上,而不是藏在第 6 分和第 7 分之间。但它牺牲了可申诉性与「努力—回报」直觉。你愿意让你所在领域的基金把资格线以上交给抽签吗?如果不愿意:你反对的是抽签,还是「承认自己一直在抽签」?







0 評論