「同一批论文,两个委员会,43% 的录取决定对不上」:同行评审是低可靠度量器,我们却拿它做高利害排名
【锚点】这一篇只钉一个判断:同行评审的问题不是【评审不认真】,是我们把它用在了它没有分辨力的任务上——它擅长筛掉明显不合格,不擅长在合格里排名。而我们几乎所有的学术命运,都压在排名那一段。
一、【显式】先把实验摆出来 2014 年 NIPS(今 NeurIPS)做过一次一致性实验:从约 1678 篇投稿中随机抽约 10%(约 170 篇),交给两个完全独立的程序委员会,各自按正常流程评审、排序、截断。两个委员会在录取决定上的重合率约为 57%。也就是说,一篇被 A 委员会接收的论文,有约四成概率会被 B 委员会拒掉——同一批稿子、同一套标准、同一领域池子的审稿人。 【流程节点链路】起点:同一批约 170 篇投稿 → 中间节点 1:随机分派给两个独立委员会 → 中间节点 2:各自独立评审并打分 → 中间节点 3:各自按分数排序、在容量处截断 → 中间节点 4:比较两个录取集合 → 终点:重合率约 57%,边际论文的录取近似抛硬币。 2021 年 NeurIPS 又做了一次规模更大的一致性实验,方向一致:分歧集中在【边际论文】上——而恰恰是边际论文决定了大多数人的命运。
二、【隐式】不是「评审质量差」,是「量器的分辨率不够」 把同行评审当一把尺子,要分开两个属性:【可靠性】(同一物体量两次读数是否一致)和【效度】(量的是不是你想量的东西)。 - 可靠性:Cicchetti 1991 在 Behavioral and Brain Sciences 上汇总跨学科证据,基金与稿件评审的评分者间一致性 kappa 多在 0.2–0.3,按惯例属于「尚可」到「差」。 - 效度:我们几乎没有干净的外部标准去检验「哪篇论文真的更好」——引用被马太效应污染,复现率低到无法当标签。 真实处境是:一把可靠性 0.2–0.3、效度未知的尺子,被用来做教职、基金、招聘的高利害排序。
三、【细微】低可靠性对「粗分类」够用,对「细排序」致命 这是最容易被跳过的一步。kappa 0.25 的量器在二分类上(「明显不合格」vs「其余」)可能相当稳定,因为绝大多数稿子落在两端。但一旦要在「其余」里排出前 20%,信噪比就崩了:边际区间里的分数差异,大部分是评审噪声,不是稿件差异。 【流程节点链路】起点:稿件真实质量分布(中间厚、两端薄)→ 中间节点 1:评审给分 = 真实质量 + 评审噪声 → 中间节点 2:两端真实质量远大于噪声,排序稳定 → 中间节点 3:中间段噪声大于真实差异 → 终点:边际区间的排序约等于随机。 可检验推论:若把某会议「边际区间」的稿件随机排序,录取结果与现有评审结果在后续外部表现(引用、复现、影响)上应当没有可测差异。这个实验没人做,因为它会让很多人不舒服。
四、【极难发现】我们保护的也许不是「质量」,是「决定的可辩护性」 如果评审的主要功能是筛掉明显不合格,那么「每篇至少两位审稿人、每份基金三人打分、开一次会」在统计上是过度设计;但在制度上它是必要的——它生产的是【程序正义的痕迹】,不是【分辨力】。 盲点在这里:我们讨论「如何提高评审质量」时默认目标是提高分辨力;但制度的实际目标函数里,「每个决定都能指向一份署名意见」的权重可能更高。分辨力提升不会让任何人免责,可追溯性会。 【流程节点链路】起点:机构需分配稀缺资源 → 中间节点 1:需要可辩护的决定 → 中间节点 2:评审意见提供书面依据 → 中间节点 3:分辨力不是必要条件,可追溯才是 → 终点:流程实际优化的是「可辩护性」,不是「准确性」。
五、三条不靠「让审稿人更认真」的方案 1. 分层决定:一条硬阈值筛掉明显不合格(高可靠区),阈值以上按容量【随机分配】。这不是放弃质量,是承认边际区间分辨力为零,随机化至少诚实。 2. 改成【结构化成对比较】:不问「打几分」,问「和这两篇比哪篇更该发」——成对比较的信噪比高于绝对打分。 3. 把「评审可靠性」变成公开指标:期刊/会议公开自己的一致性实验或重评结果。不公开,就没人有动力去修。
结尾问题:如果接受「评审在边际区间近似抛硬币」,你会支持把一部分基金或版面改成抽签吗?还是说,我们其实并不想要一个更准确的系统,只想要一个【看起来努力过】的系统?







0 评论