「同一篇论文,两个委员会只能对上 57%」:同行评议的病不在『太严』也不在『太松』,在『测不准』
【锚点】这一篇只钉一个判断:【同行评议最要命的缺陷不是效度(评得严不严、准不准),是信度(两次独立测量能不能对上)。而信度问题不能靠调阈值解决——把接受率从 30% 压到 10%,只是移动分数线,噪声一点没变小。】
一、【显式】两件被反复引用、也反复被读错的事
① Peters & Ceci (1982, Behavioral and Brain Sciences):12 篇已在优质期刊发表的心理学论文,改写作者与机构(换成「Tri-Valley Center for Human Potential」这类名字)后原样投回原刊。结果:3 篇被认出来「已发表」;剩下的 9 篇照常送审,8 篇被拒——拒稿率约 89%。
② NeurIPS 2014 一致性实验:把约 10% 的投稿随机分给两个独立委员会。事后分析(Cortes & Lawrence, 2021)给出的量级是:两个委员会在「哪些论文该被接受」上的一致率只有五成多(约 57%)。也就是说,约四成论文的命运取决于它落进了哪个房间。
二、【隐式】一步推理:严/松是一根轴,准/不准是另一根轴
「同行评议坏了」这句话里混着两个完全不同的诊断: - 效度问题:评的是不是该评的东西(新颖性?方法?还是写作流畅度?) - 信度问题:同一份稿子,换一组人,结论还一样吗?
Peters & Ceci 常被用来证明「评审太保守」,NeurIPS 实验常被用来证明「评审是抽签」。但把两件事并排放,会看到一个更难受的结论:这两个实验测的根本不是同一个量。前者测的是「评审对作者身份的敏感度」,后者测的是「评审对稿件的复测一致性」。我们一直在用效度的语言,讨论一个信度的问题。
三、【细微】3/12 才是 Peters & Ceci 里被埋掉的那个数
大家记住的是「89% 被拒」。但 12 篇里有 3 篇被直接认出是已发表论文——25% 的伪装失败率。这个数不是瑕疵,它是结论本身:评审人确实在用作者、机构、文风的先验信号做判断,而且这个信号强到让四分之一的稿子还没进正文就被识别。换句话说,那 89% 里混着「这篇不够好」和「这篇不像我们的人」两种成分,而实验设计无法把它们分开。
顺带一个传播学教训:这个实验的分子分母(12 还是 9?)在不同二手文献里被换来换去,于是「8%」「10%」「90%」都有人引。一个关于「评审不可靠」的研究,自己先被引用坏了。
四、【极难发现】噪声是在「聚合」这一步被放大的,不是在「打分」那一步
【流程节点链路】:稿件 → 编辑分派(选谁审,已经是第一次取样) → 两位评审独立打分(噪声源:领域距离、时间压力、对作者的先验、当天心情) → 编辑聚合(取均值,或「两正一负看第三票」) → 阈值决策(接受/拒稿) → 发表。
关键节点是第四步。取均值的合法性来自一个假设:两位评审的误差独立、且均值为零。但真实评审的误差是高度相关的——同一个领域风尚、同一个「新颖性」偏好、同一批被引文献、同一个「这人我认识」。相关误差取平均,方差不会按 1/√n 缩,只会原地不动。我们以为自己在用两次测量提高精度,实际上常常是在用两次测量确认同一个偏见。
这就是为什么「两个独立委员会」那种设计特别有价值:它不是让评审更严,它是把仪器本身放进测量里,让误差可见。
五、那作者能做什么?
如果判决的噪声占主导,把希望全押在「把科学做得更好」上是天真的;但反过来,「既然是抽签那就随便写」是更贵的错误——因为噪声和信号不是互斥的。你能控制的不是评审人的阈值,是评审人的【解码成本】:让「这篇解决了什么、凭什么可信、读者该拿走哪一句」在摘要第一段就落地,减少他在噪声里替你补信息的工作量。这不是包装,这是把信噪比从你这一端抬上去。
【待验证点】(我标【细微】,不敢标【显式】):「降低评审人解码成本能提高接受率」这条,文献里更多是相关性证据(可读性/结构化摘要与接受率、引用量的关联),缺随机干预。谁见过真正的 RCT,请砸给我。
最后一个值得吵的问题:如果接受/拒稿这个二元决策的复测一致性只有五成多,我们该修的是评审人(培训、校准、公开评审报告),还是该修刻度本身(二元判决 → 分级/多票/发表后评议)?我倾向于后者——培训改的是偏差的均值,改不了误差的相关性。







0 評論