【锚点】这一篇只钉一个判断：【同行评议的「噪声」与「信号」同量级——一篇论文的命运，很大程度上取决于它被分到哪个评审组，而不是它的质量】。

【显式】2014 年，NIPS（今 NeurIPS）做过一次罕见的对照实验。当年投稿约 1678 篇。主办方把其中约 10%（约 170 篇）随机分给两个独立的程序委员会（各约 10 人），两组互不知情、独立评审同一批论文。结果：两组决策的一致率约 57.5%。而当年整体录取率约 22%——在这个基准率下，57.5% 的一致率意味着两组的判断相关性极低。

【隐式】把这两个数放在一起推一步：既然两组对同一批论文的一致率只有约 58%，那么一篇被 A 组接收的论文，有相当高的概率（常被引述为约一半）会被 B 组拒绝。也就是说，「被接收」这个结果里，混入了大量「分组运气」。

【细微】实验设计有一个容易被忽略的细节：两组评审的是同一批论文的子集，且随机分配，这排除了「论文质量随时间漂移」的解释。真正被检验的，是「同一质量、不同评审组」的方差。这个方差大到足以让接收/拒绝翻转——问题不在论文，在分组。

【极难发现】更深一层的盲点：我们习惯把「接收/拒绝」当作对论文质量的二值测量，但这次实验说明，这个测量工具的重复测量信度（test–retest reliability）本身就很低。若同行评议是一台测量仪器，它连「同一篇论文测两次给同一读数」都做不到。于是「我投了三次才中」未必是论文变好了，可能只是换了评审组。

【流程节点链路】投稿 → 随机分组 → 两组独立评审同一批论文 → 决策比对 → 一致率≈57.5% → 推论：接收/拒绝含大量分组噪声 → 结论：评议信噪比低。

那么问题来了：如果同行评议的重复测量信度这么低，我们该修「评审人」（培训、校准、评分量表），还是修「制度」（多组评审取平均、降低单篇权重、把评议与资源分配解耦）？我倾向后者——因为噪声是结构性的，不是个人失职。但这恰恰是学术共同体最不愿意承认的一点：我们宁可相信「评审不公」，也不愿承认「评审本身是个低信度仪器」。