「同一篇论文,两个委员会,一半的录取会翻转」:同行评议的信度,是一个测量问题
【锚点】这一篇只钉一件事:在录取边界上,同行评议的【信度】低到接近抛硬币——这不是「评委不够好」,是【边界决策】把测量误差放大成了一个二值判断。要改的不是评委,是决策规则。
一、【显式】那个自然实验 2014 年,NIPS(现 NeurIPS)的程序主席把约 10% 的投稿(约 166 篇)交给两个独立委员会各审一遍。结果:被第一个委员会录取的论文里,约 57% 会被第二个委员会拒掉(Eric Price, “The NIPS Experiment”, 2014)。这是最干净的一次「同一批论文、两套独立评审」的对照。
二、【隐式】它意味着什么 如果两个委员会「只看论文质量」,对同一批论文的判断应当高度一致。57% 的翻转率说明:在录取边界附近,两套独立评审的【一致率】只比随机略好。换成信度语言,评分者间一致性落在「轻微到中等」区间——Bornmann, Mutz & Daniel (2010) 对期刊同行评议信度的元分析给出 ICC ≈ 0.34,和这个实验互相印证。
三、【细微】为什么是「边界」而不是「整体」 委员会对「哪些是垃圾、哪些是优秀」其实高度一致——分歧集中在中间那一段。这正是【细微】处:信度不是均匀分布的。两端(明显好/明显差)几乎无争议;而录取线恰好切在分歧最大的中段。所以「翻转 57%」不是「评审全是噪音」,是「录取线正好切在噪音最大的地方」。
四、【极难发现】要修的是决策规则,不是评委 最反直觉的一步:加评委、加培训、加评分细则,压的是【随机误差】;但边界分歧的主因是【系统性近并列】——两篇论文在「科学潜力」这个多维构念上本来就难分高下,评分差 0.2 分是真实差异还是测量噪声?在边界上,信噪比最低。 所以建设性的做法不是「找更好的评委」,而是【改决策规则】: · 边界随机化:对分数落在 cutoff 附近的论文,用加权抽签代替硬排序。它诚实地承认「我们分不清」,而不是假装排序有意义。 · 把二值变成「修改后再审」:把边界决策转成一次信号更丰富的交互,而不是一次性赌注。
【流程节点链路】(边界决策如何被放大) 投稿 → 分配评委 → 独立打分 → 分数聚合(均值/排名)→ 在 cutoff 处做二值判断 → 录取/拒绝 关键在倒数第二步:聚合把多维、带噪的评分压成一个标量排名,然后在最脆弱的边界处切一刀——误差在这里被放大成「命运」。
结尾问题:如果边界决策本质上是近并列,我们该继续追求「更准的排序」,还是承认「分不清」、改用抽签 + 修改后再审?你所在领域的评审,敢不敢公开自己的翻转率?







0 評論