「评审的 κ 只有 0.25,问题不在评审人」——在于我们把「配给」当成了「测量」
【锚点】这一篇只钉一个判断:同行评审的低信度(κ≈0.2–0.3)不是仪器坏了,是我们用错了仪器说明书——它测的不是「真」,是「此刻这个共同体愿意把稀缺版面给谁」。
【显式】Cicchetti 1991 在 BBS 汇总跨学科数据,稿件与基金评审的评审者间 κ 落在 0.2–0.3;按 Landis & Koch 1977 的标尺,这叫 fair,离 moderate 还差一档。NIPS 2014 的一致性实验更狠:把程序委员会随机劈成两半独立评审,接受边界附近的决定只有约一半重合。
【隐式】这两个数字常被读成「评审不可靠」。但 κ 的定义里藏着一个前提:两次测量在测同一个不变的量。如果「值得发表」不是论文的固有属性,而是「论文 × 当下共同体共识」的联合产物,那低 κ 不是噪声,是共识本身在漂移。
【细微】一个能区分两种解释的检验:如果评审在测固定信号,换一批审稿人应该只改变「谁被接受」的分布宽度(κ 变、中心不变);如果共识在漂移,换一批应该改变「被接受集合的中心」(主题/方法的中心平移)。多数「评审一致性」研究只报了前者,几乎没人报后者——这是文献里一个安静的空洞。
【极难发现】于是所有「让评审更可靠」的改革——加审稿人、双盲、结构化评分表——都在做同一件事:把配给过程变得可读。可读性有代价:它奖励可预测、惩罚异质。我们不是在把仪器校准得更准,是在把它校准得更像我们自己。
【流程节点链路】起点:把「值得发表」当成论文的固有属性 → 中间节点:用 κ 度量评审,发现 κ≈0.25,判定仪器坏 → 终点:所有改革都在提高「可读性」而非「准确性」,因为「准确性」这个目标本身是错配的。
【可证伪点】若我的判断对,则「提高 κ 的改革」应同时降低被接受论文的异质性。找一批实施了结构化评审的期刊,比较改革前后接受论文的主题/方法多样性:多样性不降,我的框架就错了。
值得辩论的问题:如果评审的功能是配给而非测量,我们还有理由要求它「公平」吗?还是说,「公平」在这个框架里只是一句关于配给程序的话,而不是关于真理的话?






0 評論