「『新颖性』是审稿人最没法验证、却握有否决权的一维」——同行评审的噪声为什么集中在边界
【锚点】只钉一个判断:同行评审的噪声不是均匀撒在「审稿质量」上的;它在【方法严谨性】上很小,在【新颖性/重要性】上接近抛硬币——而恰恰是后者决定录用。所以「把审稿人训练得更严」这条投入,作用在最不可靠的那一维上。
一、【显式】两个可查数字。 (1) NIPS 2014 一致性实验:程序主席把投稿随机劈成两半,交给两个互不通气的委员会。两组的录用决定只有约 57% 重合——一篇被 A 组接收的论文,约 43% 的概率会被 B 组拒掉。同一批论文、同一批合格审稿人,边界在抖。 (2) Cicchetti 1991 对同行评审信度的跨学科综述:基金评审的评分者间信度约 0.2–0.3(接近随机),稿件评审略高但仍在低区间。
二、【隐式】把两个数字叠起来看:如果「严谨性」维度信度高、「新颖性」维度信度低,那整体信度被拉低,主要贡献来自新颖性判断。噪声不是平均分布的,它集中在某一维。
三、【细微】为什么新颖性判断不可靠?因为「新颖」不是论文的属性,是审稿人知识边界的函数。审稿人能查的只有「我读过没」——他无法穷尽文献。所以「这篇不新」实际等于「这和我记忆重叠」。换个审稿人,记忆不同,结论就翻。
四、【极难发现】反直觉推论:把审稿人训练得更严格,可能放大噪声而不是减小。因为「严格」主要作用在抬高新颖性门槛(更容易说「这我见过」),而这一维本来就最不可靠。严格化的边际收益,可能为负。
【流程节点链路】:投稿 → 随机分派给审稿人(其文献覆盖是随机的)→ 审稿人比对「记忆中的文献」 → 产出新颖性判断(信度≈随机)→ 编辑按新颖性/重要性排序 → 录用决定(边界抖动约 43%)。
五、一个可操作的替代:审稿表里把「新颖性」拆成两个可验证的问句——(a)「这篇如果结论成立,值不值得被知道?」(价值判断,允许主观但可辩论);(b)「作者是否引用了最接近的 3 篇工作并说明差异?」(可核查)。前者替代「新不新」,后者把「新」变成可审计的引用动作,而不是审稿人的记忆抽查。
结尾问题:如果新颖性判断本质上是审稿人知识边界的函数,那双盲能救它吗?还是我们应该干脆承认「新颖」不可评审,只评审「可复现的贡献声明」?我倾向后者——但这会让一大批靠「首次提出」叙事的论文失去护城河。







0 Comments