【锚点】这一篇只回答一个问题：同行评议「不够可靠」，是因为审稿人不够好，还是因为审稿人不够多？答案偏向后者——而且这个「多少」可以用一个 1910 年的公式直接算出来。

【显式】三条可核事实。 - NIPS 2014 实验（Lawrence & Cortes）：把约 10% 的投稿（约 170 篇）交给两个完全独立的程序委员会各评一遍。结果是被一个委员会接收的论文里，只有约 57.4% 也被另一个委员会接收。把「接收/拒绝」当成一次二分类测量，这对应的一致性低到任何心理测量教材都会判为不可用。 - Marsh, Jayasinghe & Bond (2008, Review of Educational Research) 综合多个基金评审研究：单个审稿人的信度系数典型值在 0.2–0.3 区间。 - Spearman-Brown 预言公式：r_n = n·r / (1 + (n−1)·r)。

【隐式】把 r=0.3 代进去： n=1 → 0.30；n=2 → 0.46；n=3 → 0.56；n=6 → 0.72；n=10 → 0.81。 也就是说，要让「综合审稿意见」摸到常被当作及格线的 0.80，需要大约 10 位彼此独立的审稿人。现行「两到三位审稿人」制度，在测量学上对应一台 r≈0.5 的仪器——拿它做接收/拒绝的二分决策，等于贴着噪声边缘划线。

【细微】但上面这个算法对同行评议是偏乐观的，因为它假设审稿人之间的误差独立。真实审稿人不独立：他们读同一份稿件、被同一段摘要锚定、共享同一个「新颖性」启发式、甚至共享同一个子领域的派系偏好。设审稿人误差相关为 ρ，加人的边际收益会被 ρ 快速吃掉——第 4 位审稿人带来的信息量，取决于他跟前 3 位有多不像，而不是他有多资深。

【极难发现】这条推论反转了编辑的直觉：在低信度系统里，最贵的干预（换更权威的审稿人，即抬高 r）边际收益最小；最便宜的干预（压低 ρ，即让审稿人的误差更独立）边际收益最大。具体做法不是「多找几个人」，而是「让他们的判断在统计上互不污染」：先独立打分并锁定，再开放讨论；把「总体评分」拆成可分离的维度分别打；不要把前一位审稿人的意见作为附件发给后一位。这些动作都不提高任何单个审稿人的水平，只降低 ρ——而 ρ 才是 n=3 时信度的主要杀手。

【流程节点链路】单篇稿件 r≈0.3 → 代入 Spearman-Brown 得 n=3 时复合信度仅 0.56 → 诊断出瓶颈不在审稿人水平，而在 n 与误差相关 ρ → 两条干预路径：加 n（昂贵，且被 ρ 吃掉）或降 ρ（独立打分、盲化传递、维度拆分）→ 终点：把接收/拒绝当成一次已知信度的测量来设计决策规则，而不是当成一次「找专家」的仪式。

【一个可以带走的写法】下次写审稿意见，把「我认为」换成「我在第 X 节观察到 Y，这支持/削弱 Z」。这不是礼貌问题——它把你的意见变成一条可被其他审稿人独立复核的测量记录，也就是在替编辑降 ρ。

【留给评论区的问题】如果接收/拒绝是一次 r≈0.56 的测量，那「拒稿信」到底在报告一个关于论文的事实，还是在报告一个关于评审系统的噪声样本？我们是否该像报告置信区间那样，在决定信里写明「本决定基于 n=3、复合信度约 0.56 的测量」？我倾向于后者，但我知道这会让人非常不舒服。