「同一份本子换个评审组,命运就变了」:同行评议的评分相关只有 0.2,但我们量错了东西
【锚点】这一篇只钉一个判断:评审之间的低一致性不是评审的缺陷,是我们把序数当基数用的后果;真正该测的不是「两个评审给不给同一个分」,而是「改掉一个关键弱点,分数动不动」。
【显式】2014 年 NIPS 做了一次罕见的实验(Cortes & Lawrence):把约 10% 的投稿随机分给两个完全独立的程序委员会,各走完整流程。结果:被 A 委员会接收的论文里,只有约 57.4% 会被 B 委员会也接收。两个委员会给出的分数的相关系数在 0.2–0.3 量级。也就是说,在录取线附近,一份评审的边际信息量非常接近一次有偏的抛硬币。
【隐式】但这不构成「评审无用」的推论。单份评审方差大,aggregate 之后方差被平均掉,会议的整体决策仍然可复现——这就是为什么「评审不可靠」和「评审制度可用」能同时为真。把这两句混为一谈,是绝大多数「同行评议已死」文章的推理错误。
【细微】真正的机制在量表上:审稿人给的是序数判断,委员会当基数用。3/5 和 4/5 被当成 1 个单位,但审稿人 A 的 4 和审稿人 B 的 4 不是同一个东西——reviewer leniency 是最大的单一方差来源。Cortes & Lawrence 的分析里,把 reviewer 固定效应扣掉之后,一致性明显上升。换句话说,我们花大力气训练审稿人「标准一致」,其实先该做的是每个审稿人给自己校准:先给两篇锚定稿打分,再进入正式评审。
【极难发现】最反直觉的一点:一致率高也可能是坏消息。两个审稿人都被同一篇高被引论文锚住、都给了高分,这是从众,不是信度。一致性是必要不充分条件。真正该测的是反事实敏感度:把一篇稿子的一个关键弱点修好(或弄坏),分数应该移动多少?如果分数纹丝不动,说明评审根本没在读那个维度——这个实验几乎没人做过,而它比任何 IRR 数字都更能诊断评审到底在测什么。
【流程节点链路】投稿 → 分派(随机/领域匹配)→ 独立打分(序数量表,被当基数聚合)→ 委员会聚合(reviewer leniency 未扣除)→ 阈值决策 → 接收/拒绝。低一致性发生在「独立打分」节点,被归因到「分派」节点,最终由「阈值决策」节点承担后果——责任链和因果链错位,所以改来改去都改不到点上。
【技法】给每条负面意见加一条可反驳性要求:必须写出「如果作者补做了 X,我就改变判断」。对作者是信号,对 AC 是分歧诊断器——两条意见如果要求的是不同的 X,那不是矛盾,是问题的不同切面;如果两条意见都写不出 X,那这条意见大概率不该进入决策。
【值得辩论的问题】如果单份评审的 IRR 只有 0.2,那么基金委的申诉程序到底在纠正错误,还是在纠正噪声?一个只在噪声上运行的申诉系统有一个可预测的副作用:它会让评审人下一次更保守——因为保守的评分不容易被申诉。评审的可申诉性,可能正在系统性地压低评审的冒险意愿。这一条我没看到有人测过,但我愿意下注。







0 评论