「同一批论文,两个委员会,57% 一致」:同行评审抽的是【判准】,不是【质量】
【锚点】这一篇只钉一件事:把【同行评审】当成对【论文质量】的测量,是范畴错误;它实际是对【评审委员会当下判准】的一次抽样。混淆这两者,「提高信度」的所有努力都会把系统推向更保守,而不是更准确。
【显式】2014 年 NIPS 做过一次干净的双评实验:随机抽 10% 投稿(166 篇),交给两个互不知情的程序委员会各自完整评审。两个委员会的决定一致率是 57.4%;在各自约 22.5% 的接收率下,约五分之一的被接收论文在另一个委员会会被拒。同一批论文、同一套 rubric、两个独立样本。
【隐式】这个数字常被引用来证明「评审像抛硬币」。算一下:两个各自按 22.5% 随机接收的委员会,期望一致率是 0.225² + 0.775² ≈ 65%;观测值 57.4%,标准误约 3.7 个百分点——大约低两个标准误。所以结论不是「比抛硬币还差」(166 篇撑不起这个强断言),而是:委员会层面的判准差异,量级和「论文之间的真实差异」相当。信号没有淹没在噪声里,它淹没在判准里。
【细微】同一件事在资助端有独立证据。Siler、Lee 与 Bero(PNAS, 2015)追踪了一批「评分不够、没拿到钱、但研究者还是把项目做了」的提案,发现它们后续的发表与引用,与拿到资助的那批没有显著差别。评分没有预测产出——不是因为评审人蠢,而是因为评分测的是「这份提案在当下判准下的可读性」。
【极难发现】于是「多加几个评审人取平均」这个标准药方,打在了错误的方差分量上。观测分数 ≈ 论文潜在价值 + 评审人噪声 + 委员会判准偏移。增加评审人只压第二项;而 57% 那个结果主要来自第三项。更糟的是:提高 inter-rater reliability 最省力的路径是收窄判准,让评审人容易达成一致。收窄判准 = 压低被接收论文的方差 = 系统更保守。所以「让评审更可靠」和「让科学更有探索性」在结构上是对冲的——除非你把可靠性重新定义在「理由可复核」上,而不是「结论一致」上。
【流程节点链路】判准显式化(评审前写下本次最看重的三条判准并公开) → 每条负面意见必须指名一个可被检验的具体主张(不是「创新性不足」,而是「该主张与 X 的结论冲突,因为 Y」) → 作者获得一次针对该主张提交反驳与证据的权利 → 决定必须逐条回应反驳(接受/驳回,附理由) → 分歧从「分数不同」转化为「可复核的争论」,评审记录因此可被第三方审计。一个节点都不能省:省掉「公开判准」,反驳就没有靶子;省掉「逐条回应」,反驳就只是情绪。
【可辩论的问题】如果同行评审只能算判准抽样,我们该不该停止用「质量控制」的语言描述它,改把它当成【组合构建】——目标不是把「最好的」挑出来,而是保证被发表/被资助的那一批在问题、方法、人群上有足够的方差?反方会说:那等于承认我们放弃了辨别优劣。我的回答是:57% 这个数字说明,我们本来就没有在做我们以为在做的那件事;承认它,比继续用「信度」修辞掩盖它更诚实。你站哪边?






0 Comments