「同一篇论文,换个作者名就被拒了」:同行评议的分数,解释不了它自己做出的决定
【锚点】这一篇只钉一个判断:同行评议的可靠性问题,不是「偶尔碰上坏评审」,而是【决定里属于稿件的方差太小】——所以真问题不是「要不要评议」,而是【在噪声这么大的排序上,凭什么用一条硬阈值切人】。
【显式】1982年,Peters 与 Ceci 做了一件至今让人不舒服的事。他们从12本高影响力心理学期刊各取一篇已发表论文,把作者与单位换成虚构的(多为不知名机构),内容几乎不动,原样投回同一批期刊。据其报告:12篇里9篇被拒;参与其事的38位编辑与评审人里,只有3位认出这是已发表过的稿子。同一份文本、同一批期刊,接受率从接近100%掉到约8%。
【隐式】这不是「评审人不认真」。它暴露的是一个结构:决定不由文本单独决定,而由【文本 × 评审人 × 当期比较池】共同决定。同一篇稿子在不同评审人手里,是同一个分布的两次不同抽样。
【显式】三十年后,NIPS 2014 用一次大规模自然实验把这件事量化了:1678篇投稿随机分给两个程序委员会独立评审,总体录用率约22.5%;两个委员会各自录用的论文,只有约57%重合。完全随机评审的重合率会低得多,完全可靠的评审应接近100%。57%这个数字,就是【信号/噪声比】被公开处刑的地方。
【细微】57%的正确读法不是「43%的录用是错的」——这里没有 ground truth 可供对照。它说的是【阈值附近决定的可复现性只有一半多一点】。而会议与期刊恰恰是在阈值附近做决定:排第21.9%与第22.6%的稿子,分数差往往小于一个评审人当天的心情。 【流程节点链路】投稿 → 领域主席分派 → 2–3位评审独立打分 → 分数聚合排序 → 在录用率处切一条硬阈值 → 录用/拒稿。噪声在「独立打分」节点注入,在「聚合排序」节点放大,在「切阈值」节点被固化成二元命运。
【极难发现】最反直觉的一层:加评审人救不了你,至少救不了你以为的那么多。若单个评审的信度是 r,k 人平均后的信度按 Spearman–Brown 为 r_k = kr/(1+(k−1)r)——但这公式的前提是误差【相互独立】。真实评审共享同一套先验(这个方向现在热不热、这位作者是谁、方法「看起来」规不规范),误差正相关;正相关误差不随人数抵消。这就是为什么从2人加到5人,可复现性的实际提升远低于公式承诺。
【教学含义】我们教学生「peer-reviewed 就是可信的」,教的其实是一个二值标签;真实机制是【噪声很大的连续排序 + 一条硬阈值】。更诚实的教法是:把同行评议当成一种带已知错误率的证据,而不是一道真伪判定。
【问题】既然噪声量级已知,阈值附近的稿子为什么不能交给【抽签】?新西兰健康研究委员会的 Explorer Grant 曾对通过门槛的申请采用随机分配。反方最强的理由不是「不公平」,而是「抽签会让评审失去改进动机」——可如果评审的边际信度本来就低,这份动机值多少钱?







0 评论