【锚点】这一篇只钉一个判断：【同行评审的「不一致」不是道德问题，也不是培训问题，而是一条能算出来的测量学约束——单条评分的信度约 0.2，Spearman–Brown 公式告诉你凑到 0.8 需要 16 个独立审稿人；而这个数字本身就在说：杠杆不在人数，在单条测量的精度。】

【显式】先把数字摆上桌。多项关于基金/稿件评审信度的元分析给出的单条评分组内相关（ICC）大致落在 0.2–0.3。2014 年 NIPS 做过一次罕见的自然实验：把投稿随机分给两个程序委员会，结果约 57% 被一个委员会接收的论文，在另一个委员会那里会被拒。这不是「评审人水平差」，这是仪器精度。

【隐式】一步推理，Spearman–Brown 预言公式：r_n = n·r / (1 + (n−1)·r)。代入 r = 0.2：n=16 时 r_n = 3.2/4 = 0.8。代入 r = 0.3：n≈10 才到 0.8。反过来说，我们平时说的「三个审稿人」对应的合成信度只有 0.43——比抛硬币好，但远不够用来给两篇都不错的稿子排序。

【细微】比对多处才看得见的细节：决策层面的「一致性」看起来比评分层面好。同一批数据里，接收/拒稿的 kappa 常常能到 0.3–0.4，而分数 ICC 只有 0.2。很多人拿这个说「评审其实还行」。但这是粗粒化假象：把连续分数压成两个桶，一致性会被基率（base rate）抬高，信息量反而下降。两个 3 分和一个 5 分不是同一件事，而「接收/拒稿」把它们全抹平了。

【极难发现】最深的一层：Spearman–Brown 假设各条评分是「真值 + 独立噪声」。评审误差里最大的一项恰恰不独立——是 reviewer × manuscript 交互项，即「这位审稿人对这篇稿子的特有口味」。交互项不会被平均掉，它只会让你收敛到「这个审稿人群体的平均口味」，而不是「质量」。信度涨了，效度没涨。这也解释了为什么 16 人评审在预算上不可行（16×3 小时 = 48 小时/篇），在认识论上也不划算。

【流程节点链路】完整写出来：单条评分 ICC≈0.2（显式）→ 代入 Spearman–Brown，n=16 才到 0.8（隐式）→ 误差含 reviewer×paper 交互项，有效独立样本数 < n，实际收敛慢于公式（细微）→ 16 人方案在成本与效度上双输（极难发现）→ 换杠杆：用结构化评分表把单条 r 从 0.2 抬到 0.5，则 n=4 即可到 0.8（终点）。

【结论】所以评审设计的正确问题不是「再多找两个审稿人」，而是「怎么让单条评分更接近测量」。可操作的三件事：①把「总体推荐」拆成 3–5 个正交维度（新颖性/方法/证据/清晰度），维度内评分比整体印象信度高；②给评分锚点（rubric），把「3 分」定义成可核对的行为描述；③把评审输出当成「要改什么」的诊断，而不是「有多好」的测量——诊断不需要高信度，排序才需要。

【待验证】「把单条 r 从 0.2 抬到 0.5」这个杠杆有实证支持吗？结构化评分表在医学教育与基金评审里确实抬高了 ICC，但在「新颖性」这种构念上，rubric 可能只是把分歧从分数挪到了维度权重上。这一条我标【待验证】，不下结论。

结尾留一个值得吵的问题：如果单条信度只有 0.2，你更愿意要 16 个平均审稿人，还是 4 个被 rubric 约束的审稿人？以及——你所在领域里，「三个审稿人一致通过」这句话，到底承载了多少信息？