【锚点】这一篇只钉一个判断：同行评议最大的误差来源不是审稿人的【偏见】(bias)，是审稿人之间的【不一致】(variance)。偏见可以被辩论，噪声只能被测量、被平均、被报告——而我们的课程里，前者讲了一整章，后者一句没讲。

【显式】先看一个不太体面但很干净的事实。2014 年 NIPS 做过一次「一致性实验」：把约 10% 的投稿（167 篇）随机分给两个完全独立的程序委员会，各自按正常流程完整评审一遍，再比较两份接收名单。 【流程节点链路】NIPS 2014 投稿池 → 随机抽取约 10%（167 篇）→ 同一批论文被复制成两份 → 两个独立 PC 各自分派审稿人、各自讨论、各自定阈值 → 得到两份接收名单 → 比较重叠率 → 约 57%。 意思是：约【四成】被一个委员会接收的论文，在另一套同样认真的评审下会被拒。这不是「哪个委员会更严」的问题——两边的接收率是同一个数。

【隐式】为什么会这样？一步推理就够：审稿人之间的评分相关很低。Pier 等 2018 年在 PNAS 报告了 NIH 基金评审的同类结果——同一批申请书随机分派给不同评审人，申请书本身只能解释评分方差里很小的一部分，大头在「谁在读」。NIPS 那次实验的组织者 Lawrence 与 Cortes 的结论也类似：评审的随机误差与「真实质量」信号量级相当。 【流程节点链路】论文的真实质量 q → 审稿人 r 观察到 q + 个体噪声 ε_r（领域熟悉度、当天状态、最近读过的三篇同类论文、对某方法的偏好）→ 每位审稿人给一个分数 → 委员会对 k 个分数取平均/讨论 → 与阈值比较 → 接收或拒稿。噪声 ε_r 在「平均」这一步被部分抵消，但 k 通常只有 3。

【细微】于是「多找几个审稿人」听起来是解药，其实是一条渐近线。用 Spearman–Brown：若单审稿人与真值的相关 ρ≈0.25，k 位审稿人平均后的信度 ρ_k = kρ/(1+(k−1)ρ)。k=3 → 0.50；k=6 → 0.67；k=10 → 0.77；要到 0.90，需要 k = 0.9×0.75/(0.25×0.1) = 【27】位。这就是为什么「再加一位审稿人」永远感觉不够——边际收益在前面，成本在后面。 【流程节点链路】单审稿人信度 ρ=0.25 → 代入 ρ_k = kρ/(1+(k−1)ρ) → k 从 1 到 3，ρ_k 从 0.25 到 0.50（+0.25）→ k 从 3 到 6，ρ_k 到 0.67（+0.17）→ k 从 6 到 10，到 0.77（+0.10）→ 目标 0.90 需 k=27。每一步的增量都在缩小。

【细微】还有一个更少被提的细节：分数不一致，但文本常常一致。同一篇论文的两个审稿人给出 3 分和 7 分，翻到正文，两人指出的具体缺陷（缺基线、缺消融、样本量、可复现性）重合度往往很高。被噪声污染的主要是【把缺陷折算成一个标量】那一步，不是【发现缺陷】那一步。 【流程节点链路】审稿人读论文 → 各自列出具体缺陷清单 → 清单之间高度重叠 → 各自把清单折算成一个 1–10 的分数 → 折算权重因人而异（有人重 novelty，有人重 rigor）→ 分数分布被拉开 → 委员会只看分数 → 信息在最后一步丢失。

【极难发现】教学上的盲点在这里。我们教学生「如何回应审稿人」——那是修辞训练；我们几乎不教「如何把一条评审意见当成一次抽样」——那是测量训练。而后者有一个对称的、几乎没人愿意说出口的推论：如果接收决定有约四成的翻转率，那么「被拒」不是对你能力的估计，「被接收」也不是。它们是一次高方差抽样的两个结果。学界把前者叫「运气不好」，把后者叫「实力」——这本身就是一次选择偏差。 【流程节点链路】同一份工作 → 分派到审稿人组合 A → 分数落在阈值下 → 拒稿 → 作者内化为「我不行」；同一份工作 → 分派到组合 B → 分数落在阈值上 → 接收 → 作者内化为「我很好」。同一个 q，两个 ε，两种自我叙事。

【显式】一个可以直接搬进课堂的练习：把一篇已发表论文（去掉作者与期刊信息）发给全班，每人独立按同一份评分表打分，收上来画直方图。多数班级会得到一条从 3 到 8 铺开的分布——而这篇论文其实已经被接收过一次。这个练习教的不是「评审不公」，是「你手里这把尺子有误差棒」。下一步再让同一批人只列缺陷、不打分，比较缺陷清单的重合度——学生会亲眼看到：发现问题的能力，远比给分的能力稳定。 【流程节点链路】发匿名论文 → 每人独立打分 → 收集分数画直方图 → 观察分布宽度 → 改为只列缺陷清单 → 比较清单重合度 → 结论：分数低信度、缺陷高重合 → 教学落点：把「评审」从判决改写为证据。

结尾问题：如果「发表」这个信号里有约四成的成分是审稿人组合的噪声，那么我们到底该教学生【怎么把论文写得更容易被接收】，还是【怎么在一条噪声很大的评审意见里把信号抠出来】？前者是现在的课程，后者是我认为该有的课程。你上一次读到一条让你愤怒的审稿意见时，是把它当成判决，还是当成一次抽样？