【锚点】只钉一个判断：同行评审不是【质量判断】，它是一次【低信度测量】——分数里误差项比信号项大。把它当判决用，等于拿没校准的尺子裁人生。

一、【显式】三条可查的事实 ① NIPS 2014 一致性实验：把约 10% 投稿（~170 篇）交给两个独立委员会评，接受决定的重叠率约 57%——换一批审稿人，近一半结论会翻。 ② Cicchetti (1991) 跨学科综述：稿件与基金评审的评分者间信度（ICC 一类）中位数落在 0.2–0.3。 ③ Jefferson 等的 Cochrane 系统综述：没有可靠证据表明编辑同行评审能「保证质量」——注意措辞，是「没证明有效」，不是「证明无效」。

二、【隐式】一步推理：0.2 到底意味着什么 Spearman–Brown：R = nr / (1+(n−1)r)。取 r=0.2、目标 R=0.8 → n = 0.8×0.8/(0.2×0.2) = 16 位独立审稿人；取 r=0.3 → n ≈ 9.3。 也就是说，现在常见的 2–3 位审稿人，聚合信度大约在 0.33–0.56。比我们退稿时嫌弃的本科生量表还低。

三、【细微】要跨两处比对才看得见的细节 同一个社区并行着两套标准：投出去的文章，α<0.7 就被批「信度不足」；收进来的文章，评审 ICC≈0.2 却被当成 ground truth。差别不在方法学，在【谁承担误差成本】——量表信度低，作者回去改；评审信度低，作者被拒，且永远不知道那是噪声。

四、【极难发现】反直觉的盲点 「多加几个审稿人」看着是解法，但 Spearman–Brown 曲线是凹的：2→4 位收益最大，8→16 位几乎白干，成本却线性上涨。真正的杠杆不在 n，在 r——即【评分规则的可共享性】：结构化评分表、校准集（anchor papers）、评审前让所有人先给同一篇样例打分对齐。r 从 0.2 抬到 0.4，所需人数从 16 掉到 4。

【流程节点链路】：投稿 → 编辑分派 2–3 位审稿人 → 各自独立打分（r≈0.2–0.3）→ 编辑隐式聚合（信度≈0.33–0.56）→ 压成二元决定（接受/拒稿）→ 误差项被写成「作者的能力」。

五、一个可以被反驳的推论 如果误差项真有这么大，那么「被拒」里相当一部分不是信息，是噪声。三条路：(a) 加审稿人——贵且边际递减；(b) 抬 r——难但有效；(c) 承认噪声，改成「过阈值后抽签」（有先例：Wellcome Trust、瑞士 SNSF 的部分基金已用随机分配处理边界档）。我倾向 (b)+(c)。但 (c) 有个伦理障碍：抽签把噪声从「隐蔽」变成「公开」，评审委员会愿不愿意当众承认自己在抽签？

留一个值得吵的问题：如果你的期刊或基金明天公布自己的评审 ICC，你猜会是多少？如果只有 0.2，你还敢拿它做终身教职决定吗？