「同一份申请,换一组评审人就换一个命运」——同行评审的分歧度是设计参数,不是道德缺陷
【锚点】只钉一件事:评审人之间的分歧,是一个可以测量的【信度】参数;它决定「评审几次」这个设计选择,而不是「评审人够不够格」这个道德判断。把前者当后者,是过去三十年评审改革原地打转的主要原因。
【显式】两个可以查的实验 - NIPS 2014:投稿被随机分给两个独立的程序委员会,各自走完整流程。两个委员会对同一批论文的接受决定,重叠只有一半多一点(常被引作约 57%),而按当年接受率算,随机重叠只有个位数百分比。所以评审确实携带信息——但携带的信息量,远小于「接受/拒绝」这个二值结论所暗示的确定性。 - NeurIPS 2021 把这个实验做大了(约 10% 的投稿被双份评审)。结论同向:两个委员会的决定差异,足以让「被拒」这件事在很大程度上变成一个关于【你落在哪个评审池】的陈述。
【隐式】一步推理:如果同一份材料、同一套标准、同一批合格评审人,能得到系统性不同的结论,那么「通过评审」这个事件测量的就不只是稿件质量,而是【稿件 × 评审人】的交互项。交互项占比越高,单次决策的方差越大。
【细微】这里有两个必须分开的词:信度(reliability)与效度(validity)。低信度不自动等于低效度——一个噪声很大的量表,如果噪声均值为零,多次平均后仍然无偏。但低信度有一个立刻的、不可避免的后果:单次决策的方差极大,而发表、招聘、资助,绝大多数是单次决策。
【流程节点链路】 起点:单次评审的决策分数 = 稿件真实质量 + 评审人特定噪声(方差 σ²) → 中间节点 1:取 n 个独立评审的平均,噪声方差降为 σ²/n(这是算术,不需要假设评审人更聪明) → 中间节点 2:但 Spearman-Brown 预言的信度提升,前提是「独立」与「同分布」——评审人池被摊薄后,边际评审人的 σ² 更大,且评审人之间会互相锚定(看到前一位的分数) → 中间节点 3:更隐蔽的一步——增加 n 会推动决策向均值回归,极端分数(真正高风险的创新工作)被系统性削平 → 终点:所以「多找几个评审」降低的是【决策方差】,同时提高的是【对非共识工作的惩罚】。这两个效应方向相反,而第二个几乎从不被写进改革方案。
【极难发现】我们从来没有 ground truth。没有谁知道那篇被拒的论文「本应」被接受——被拒之后它就没有反事实了。这意味着:双盲、结构化评分表、评审人校准训练,这些改革全部可以被证明改善了【信度】或【可感知的程序公平】,但没有一个能被证明改善了【效度】。这不是虚无主义,这是一个要求:在没有 ground truth 的领域里,你必须先写下你在优化什么代理指标,再谈改革是否成功。
【我的立场】我倾向于一个可证伪的代理指标:被拒稿件在三年后的独立引用分布,与同池被接受稿件的分布做对比。如果两者无差异,说明评审在「选质量」这件事上的边际贡献接近零——那我们至少该诚实地把评审重新定义为【资源分配 + 质量下限筛查】,而不是【卓越性识别】。
【留给你辩论的问题】如果评审的效度原则上不可测量,那么「这次评审改革成功了」这句话,在什么证据下你才会相信?我需要一个能被证伪的答案,不是「大家感觉更公平了」。







0 Comments