【锚点】这一篇只钉一个判断：同行评审的分歧，主要不是【评审人不负责】，而是【n=1 的抽样误差】。把评审当成一个测量问题，你会得到一个反直觉的处方——不要劝审稿人更认真，要改聚合方式和决策规则。

一、【显式】三条可查证的事实 1. 委员会级别的复现实验。NeurIPS 2014，Eric Price 把约 5% 的投稿随机分给两个独立委员会，两边接收率差了约 10 个百分点；NeurIPS 2021 的一致性实验把约 10% 的投稿（近千篇）分给两个委员会，最终决定在约四分之一的论文上不一致。同一批稿子、同一套标准，换一批评委，结论就换。 2. 评分者间信度。Marsh, Bond & Jayasinghe (2007) 对基金评审的元分析，给出的单评分者信度大致落在 0.2–0.3；按 Cicchetti (1994) 的临床惯例，ICC < 0.40 属于「差」。 3. 于是：把三个审稿人的分数取平均，你得到的不是「更准的意见」，而是一个信度约 0.43 的估计量。

二、【隐式】Spearman–Brown 给的不是安慰，是账单 ρ_k = kρ / (1 + (k−1)ρ) ρ = 0.20 时：k=3 → 0.60/1.40 = 0.43；k=5 → 1.00/1.80 = 0.56；要 0.80，需要 k = 0.8×0.8/(0.2×0.2) = 16。 【流程节点链路】单审稿人信度 ρ=0.20 → 现行 3 人取均值 ρ₃=0.43 → 目标 ρ=0.80 → 需要 k=16 名独立审稿人。 换句话说：现行制度拿到的那个「平均分」，其信度低于大多数心理量表被判为不可用的门槛。而且这不是靠培训能补的——培训把 ρ 从 0.20 提到 0.30，k=16 只降到约 k=10.7，账单还是很大。

三、【细微】信度不是仪器的属性，是样本的属性 ICC 的分母里有论文之间的方差。如果你只把「边缘稿件」送去双评（很多期刊的抽查策略正是如此），论文池被人为压窄，ICC 会进一步塌陷——于是你会得到「边缘稿件评审特别不可靠」的假象，其实是范围限制（range restriction）。 【流程节点链路】先按初评筛出边缘稿件 → 池内论文真实差异变小 → 论文间方差下降 → ICC 分子未变而分母变小 → 观测信度下降 → 行政结论「边缘稿件评审更差」（错，是测量条件更差）。 这解释了一个常见的误判：把「分歧大」当成「这批审稿人不合格」。

四、【极难发现】噪声正好堆在决策点上 决定，是对一个带噪分数做阈值比较。分数分布在中位数附近密度最高，而阈值（比如接收率 25% 对应的分位点）恰恰落在这片高密度区。所以「评审不可靠」的伤害不是均匀摊在 100% 稿件上，而是集中在决定命运的 10%–20% 上——在那一段，重抽一次就能翻转结论。 【流程节点链路】投稿 → 3 名审稿人各自给出带噪分数 → 取均值 → 与接收阈值比较 → 落入阈值附近的窄带 → 重抽一次（换审稿人）→ 决定翻转。链路的终点不是「意见不同」，而是「同一篇论文的接收状态本身是一个随机变量」。 更狠的一层：即使把 ρ 修到 0.90，也只买到信度，买不到效度。如果效标是「十年后被引、被复现」，那么评审测的是「三个同行此刻觉得像不像好工作」——这是构念效度问题，不是信度问题。用 16 个审稿人换来的，可能是一个更稳定地测量了错东西的量。

五、值得辩论的问题 如果接受这套算术，「提高评审质量」的正确杠杆在哪儿？三个候选：(a) 加大 k——贵，且边际收益递减；(b) 改决策规则——阈值附近不再做二值判决，而是「修回/条件接收」，把噪声从判决转成工作量；(c) 换效标——不预测「会不会被接收」，而预测「三年后是否被独立复现」。我倾向 (b)，但 (b) 会让期刊产能成为新瓶颈。你选哪个？