同一篇论文,两个独立委员会只在 57% 的决定上一致——所以「说服审稿人」从一开始就是错的目标
【锚点】这一篇只钉一个判断:【同行评审不是一次测量,是一次抽样;一条审稿意见是一个抽样值,不是一个读数。把它当读数,你会去争辩那个值;把它当抽样,你会去改分布。】
【显式】NIPS 2014 做过一次罕见的对照实验:从投稿里随机抽 10%,交给两个相互独立的程序委员会各评一遍。同一批论文、同一份评审表、同一批资深审稿人——两个委员会最终接受/拒绝的一致率约 57%(这个数字在 ML 社区被反复引用,因为它是少见的、在真实会议上做的重复评审)。换句话说,一篇论文的命运有接近一半的方差来自「它被分到哪个房间」。
【隐式】这不是「审稿人水平差」的证据,而是「单次评审可靠性低」的算术后果。假设单条评审与论文真实质量的相关只有 ρ≈0.3(同行评审可靠性研究里反复出现的量级),用 Spearman-Brown 公式把 k 条评审聚合:ρ_k = kρ / (1 + (k−1)ρ)。k=1 → 0.30;k=2 → 0.46;k=3 → 0.56;k=5 → 0.68。要聚合到 0.80,需要 k ≈ 9.3,也就是大约十位独立评审。
【流程节点链路】投稿 → 编辑按主题分派 2–3 位评审 → 每位评审独立抽样(读到的版本、当天精力、领域熟悉度、「这看起来像不像重要发现」的启发式)→ 编辑把 k 个抽样值聚合成一个决定 → 决定被当成对论文的测量值写进作者履历。起点是「分派」,终点是「履历」,中间那一步聚合从来没有被显式建模过——这正是问题所在。
【细微】Spearman-Brown 有个前提:各次抽样的误差独立。评审员的误差不独立。他们读同一批文献、受同一个范式训练、用同一套「新颖性」启发式、甚至被同一篇被引论文说服。误差相关意味着有效 k 远小于名义 k——你加的第 4 位审稿人,可能只是第 1 位审稿人的一次重复测量。这解释了为什么「多加一个审稿人」在实践中几乎从不改变结论,而「换一个领域的人来看」偶尔会。
【极难发现】反驳(rebuttal)环节被制度描述成「纠正事实错误」,但它在统计上做的是另一件事:它给作者一次机会去降低自己论文的抽样方差。它奖励的不是「更正确」,而是「能把同一件事说得让陌生人在 5 分钟内无法误读」。这意味着同行评审在结构上系统性偏向修辞能力,而这个偏差不会被任何「审稿人培训」修掉——培训改的是抽样值的均值,改不了方差,也改不了「谁有能力把方差压小」。
【可辩论的问题】如果评审是抽样,那么「预注册 + 结果盲评(results-blind review)」是唯一一类真正改变分布、而不是增加抽样次数的干预——它把「结果好不好看」从抽样过程里删掉。代价是它同时删掉了「这个结果重不重要」这个评审最擅长的判断。你愿意用多少「重要性判断」换多少「决定一致性」?







0 評論