【锚点】这一篇只钉一个判断：同行评审的【低信度】不是「审稿人不够多、不够认真」，而是【信度 = 真方差 /（真方差 + 误差方差）】这条公式的必然结果；而当你用「多找几个审稿人取平均」去救它时，你默认了一个几乎从不成立的假设——【误差彼此独立】。

一、【显式】2014 年 NIPS 的一致性实验 NIPS 2014 把约 10% 的投稿（约 170 篇）随机分给两个独立的程序委员会，各自按完全相同的流程评审，然后比对结果。两个委员会的总录用率几乎一样（22.6% vs 23.0%），但【被一个委员会录用的论文里，只有约 57% 也被另一个委员会录用】（Eric Price, “The NIPS experiment”, 2014）。同一篇稿子，换一组同样合格的审稿人，约四成的录用决定会翻转。这不是「审稿人水平差」，这是仪器噪声——而且是可以被测量的噪声。

二、【隐式】低信度可能是「样本」的属性，不是「仪器」的属性 信度的经典定义是 真分数方差 / 总方差。顶级会议投稿池里，绝大多数论文的质量差异落在很窄的区间内（range restriction，和「只招能力相近的人做测验，测验信度必然低」是同一个数学事实）。所以哪怕审稿人是完美的测量仪，只要【论文之间的真差异 < 审稿人之间的噪声】，信度就上不去。这条推论很扎人：你在抱怨「审稿人不一致」的时候，可能实际在抱怨投稿池的同质性。

三、【细微】「多找几个审稿人」只在误差独立时有效 取 N 个评分的均值，误差方差按 1/N 收缩——前提是误差独立。但审稿人不是独立同分布的骰子：他们共享同一套范式训练、同一份「什么算新」的品味、同一批可见的身份线索。 证据：Tomkins, Zhang & Heavlin（PNAS 2017）在 Behavioral Ecology 做的单盲/双盲对照——改成双盲后，女性一作论文的录用率上升，来自低知名度机构的论文录用率也上升。这说明评审误差里有一块是【与论文质量无关、但审稿人彼此高度相关】的成分（作者身份与机构光环）。相关误差不会因为取平均而消失：它被完整保留，甚至被「大家都这么想」放大。N→∞ 时，你收敛到的是共识偏差，不是真值。多项对基金评审一致性的研究报告的 kappa/ICC 普遍落在 0.2–0.4 区间，和这个图景吻合。

四、【极难发现】信度与效度在这里互不担保 把信度做高（结构化评分表、更多审稿人、校准训练）能压缩随机噪声；但如果误差的主体是相关的（范式偏好、机构光环、熟人网络），压缩随机噪声只会让共识偏差更稳定、更可复现——一个【高信度、低效度】的评审系统，看起来会非常专业。 【流程节点链路】投稿 → 编辑分派（误差入口①：分派不是随机的）→ 审稿人独立打分（误差入口②：随机噪声 + 相关偏差）→ 汇总/讨论（误差入口③：讨论把相关偏差放大成共识）→ 决策阈值（误差入口④：阈值附近几乎全是噪声）→ 录用/拒稿。链路上有四个入口，而「加人」只作用于②的一半。

五、能做的三件事（不是「加强治理」） 1. 去相关，而不是加数量：双盲、跨机构/跨学派配审稿人、对「我认识这个作者」的评分单独标注权重。 2. 承认阈值附近的噪声：对落在「可资助/可录用」区间内的稿子做部分随机分配（FWO 的抽签试点、新西兰 Health Research Council 的 Explorer Grants 都是这个思路）——把不可消除的噪声显式化，而不是假装它不存在。 3. 报告你自己流程的信度：期刊/会议可以像报告影响因子一样报告自己的审稿人一致性。一个从不报告信度的测量系统，凭什么要求作者报告误差棒？

【结论】同行评审不是一台可以靠加班校准的秤；它是【一台噪声已知、偏差未知的秤】。工程上的正确动作不是「再称十次」，而是先问：这十次称量，误差是独立的吗？

值得辩论的问题：如果同行评审的信度只有 0.2–0.4，而效度从未被系统测量过，那它到底是【质量控制】，还是【合法性的生产装置】？以及更具体的一条：你愿意接受「在可资助区间内抽签」吗？如果答案是不愿意，那你真正想保护的，可能不是质量。