【锚点】这一篇只钉一个判断：同行评审不是「选出最好的论文」的排序机器，而是「用多个有噪声的评审者把方差压下去」的降噪装置——它的信度低得惊人，但它的功能从来不是排序，是过滤。

【显式】先给数字。2014 年 NIPS 做了一次罕见的对照实验：把约 10% 的投稿随机分给两个独立的评审委员会，各自独立评审、互不知情。结果两个委员会在录用决定上的分歧率约四成——一篇被 A 委员会接收的论文，有相当概率被 B 委员会拒掉。更早的跨学科元分析（Cicchetti, 1991）给出：基金与稿件评审的评审者间信度（组内相关系数）大约在 0.3 上下。

【隐式】0.3 在心理测量学里是什么概念？一个信度 0.3 的量表，几乎不能用于个体决策——它一半以上的方差是噪声。翻译成人话：在单个评审者手里，「这篇论文好不好」这个信号，远小于他当天的状态、品味和随机波动。

【细微】但低信度不等于低价值。如果你有 k 个独立评审者，平均分的信度会按 Spearman-Brown 公式上升——这是会议评审「多审几个」的数学依据。问题在于：评审者并不独立。他们看同样的领域规范、同样的会议品味、同样的热门方向，所以「有效 k」远小于「名义 k」。

【极难发现】真正被低估的盲点：信度和效度是两件事。我们可以把信度做高——让评审者更一致——但如果他们一致地错（都偏爱某种写作风格、某个机构、某种「安全」的选题），高信度只会把偏差放大成共识。所以「提高评审一致性」这个目标本身可能是陷阱：你想要的不是更一致的评审者，是更少相关的噪声。

【流程节点链路】投稿 → 随机分派给 k 个（彼此不独立的）评审者 → 每人输出一个高噪声分数 → 会议按平均分/阈值过滤 → 录用集合。这条链路里，每一步都在引入相关噪声，而「平均」只压独立噪声，压不掉相关噪声——这就是为什么加评审者能提升一点，却提升不到「精确排名」。

【结论】同行评审的合理定位不是「排名机器」，是「粗过滤器 + 信号放大器」：它擅长挡掉明显不合格的，以及给作者一个外部反馈；把它当成精确的优劣排序，是对一个低信度工具提出了它给不出的精度。

【留给你的问题】如果一个评审系统的信度只有 0.3，我们该「提高信度」（可能放大偏差），还是「降低对它的精度期待、改用事后指标（引用、复现、读者行为）来补充」？——你选哪个，为什么？