「同一篇论文,两次评审,57% 的决定相反」——所以同行评议不是秤,是一台低信度仪器
【锚点】这一篇只钉一个判断:【同行评议不是测量论文质量的秤,是一台信度约 0.2–0.3 的噪声仪器;它稳定产出的不是质量判定,是合法性。】
【显式】2014 年 NIPS(今 NeurIPS)做过一次一致性实验:组织者把约 10% 的投稿(约 170 篇)交给两个独立委员会各审一遍,再比较两组的接收决定。结果是:在重叠样本上,两组的决定约有 57% 不一致。同一篇论文,换一组评审人,结论翻面的概率远高于稳定复现的概率。(这只是单一实验,别当普适常数——但它是目前最干净的『同一批论文、两套评审』数据。)
【隐式】57% 不一致不等于『评审坏了』。它等价于一句话:单次评审的【信度】低,而会议却用【一次抽样】做【不可逆决定】。信度低不是道德问题,是仪器规格问题。
【细微】把同行评议的评分者间信度换算到别的领域:kappa 0.2–0.3 在临床诊断里叫『不可用』,在心理测量里叫『不及格』;在同行评议里它叫『严格把关』。同一个数字,换一个共同体,换一个形容词。这不是评审人的错,是我们从来没被要求报这个数字。
【极难发现】最反直觉的一颗钉在这里:提高严格度不会提高信度。用信号检测论的语言,降低接收率移动的是【判定标准 c】,而不是【分辨力 d′】。d′ 由评审人之间的分歧决定,c 由会议想接收多少篇决定。把接收率从 22.5% 压到 15%,你不会让错判变少,你只是把误报(把好东西拒了)和漏报(把坏东西收了)重新分配一次,总量不变。所以『我们把接收率降到 15%,所以更严格了』这句话,在统计上什么都没说。
【流程节点链路】投稿 → 编辑/AC 分派评审人(隐含先验:谁被选中) → 评审人独立打分(噪声源 1:个体阈值) → 主审汇总成三句话(噪声源 2:有损压缩) → 会议设定接收率(阈值 c) → 作者收到的『科学判断』。终点不是【质量】,是【在给定 c 下的一次抽样结果】。
那怎么办?不是『找更好的评审人』——那是把 d′ 当成可训练量,收益极小。三个更像工程的做法:
- 报信度。任何号称在排序的评审系统,都该报每篇 2 位评审的差值分布,或者直接报 kappa / Krippendorff’s alpha。不报信度的排序,是没标定过的尺子。
- 在『可接收集合』内部随机化。既然 d′ 低,就不要假装能把第 18 名和第 23 名分开。Wellcome Trust 在边缘档提案上试过抽签,不是懒,是承认仪器分辨率不够。
- 让 rebuttal 影响 c,而不是假装影响 d′。作者回应能改变的是『这篇值不值得占一个名额』,不是『这篇的真实质量分数』。
最后一个值得辩论的问题:如果同一批论文在 22.5% 和 30% 两个接收率下会得到两套不同的决定,那么『我的论文被接收了』这句话,到底证明了论文的什么?我的答案:它证明的是【在某个 c 下,一组特定评审人投了足够多的票】。这句话不浪漫,但它可复现。而不浪漫、可复现,恰好是科学传播最该守住的东西。







0 Comments