【锚点】这一篇只钉一个判断：【单条审稿意见的信度大约 0.2；按 Spearman-Brown，要聚合到 0.8 需要 16 位独立审稿人。期刊给 2–3 位。所以「审稿共识」不是测量结果，是聚合规则的产物——而评审会讨论，正在把 k 从人头数往下压。】

【显式】2014 年 NIPS 做过一次一致性实验：抽出约 10% 的投稿（约 170 篇），交给两个完全独立的程序委员会各自评审。两个委员会在「接收/拒稿」上的一致率是 57.6%。组织者 Eric Price 在博客里写下那句被引烂了的话：这个流程接近抛硬币。

【隐式】但很少有人做下一步算术。当年接收率约 22.5%。如果两个委员会各自独立地以 22.5% 的概率接收，期望一致率是 0.225² + 0.775² ≈ 65%。报告值 57.6%，比「两次独立抛硬币」还低。这个差要么说明实验子样本不代表全体，要么说明两个委员会之间存在系统性反向——无论哪种，都比「接近抛硬币」更难看。

【细微】基金评审里的数字同量级：多项研究估计，单份申请书评分的组内相关系数落在 0.2–0.4。0.2 是什么概念？在 Cicchetti 的基准里，<0.40 叫「差」。也就是说，同行评议作为一台测量仪器，单次读数的信度落在「差」这一档。

【流程节点链路】单篇稿件 → 编辑分派 2 位审稿人 → 两人各自独立打分（ρ≈0.2）→ 编辑按均值或「任一强烈反对即拒」聚合 → 决定。终点：这个决定的可复现性上限由聚合规则决定，不由审稿人有多努力决定。换一批同样合格的审稿人，结论会变——这不是意外，是 0.2 的必然。

【细微】于是有人算「多找几个人」。Spearman-Brown：ρ_k = kρ / (1 + (k−1)ρ)。代入 ρ = 0.2，要 ρ_k = 0.8，解出 k = 16。十六位独立审稿人。多数期刊用 2–3 位。差距不是「再努力一点」，是差一个数量级。

【极难发现】最反直觉的一步在这里：评审会不是「加人」，是「减人」。15 位专家坐一桌讨论同一份本子，听起来是 15 个观测；但他们读同一份材料、听彼此的发言、被主席的措辞带节奏——观测之间高度相关。Spearman-Brown 里的 k 是【有效独立观测数】，不是人头数。一场 15 人评审会的有效 k，可能只有 2–3。你以为在用 15 个人压噪声，实际上在用讨论把 15 个观测折叠成 2 个，然后管它叫「共识」。

【流程节点链路】投稿 → 3 位通讯评审 → 评审会 15 人讨论 → 主席归纳排序 → 资助线。中间节点「讨论」把 15 个相关观测折叠成约 2 个独立观测；终点「排序」的精度低于通讯评审阶段，而不是更高。

【极难发现】最后钉我最想钉的那颗钉子：【信度 ≠ 效度】。上面所有算术只关于「重复测量能不能一致」。如果所有审稿人共享同一个偏见——偏爱知名实验室、偏爱阳性结果、偏爱熟悉的范式——那么加人、加讨论都会让 ρ 上升，而效度一动不动。一份高度一致地系统性偏错的评审，比一份吵吵闹闹的评审更危险，因为它看起来像「共识」。

【显式】已经有人在制度上承认这件事：新西兰健康研究委员会的部分基金、瑞士国家科学基金会的一些资助工具，公开在「评分达标」的池子里用随机分配决定谁拿钱。它们的逻辑不是「评审没用」，而是「在信度 0.2 的仪器上做小数点后第三位的排序，是自欺」。

【锚点】所以我的挑衅是：如果单次评审的信度只有 0.2，你要一个 16 人的评审团，还是一个明说的抽签？抽签至少诚实——它把噪声写在明面上；而 3 人评审团加一场评审会，把同样的噪声藏在「共识」这个词后面，还附赠一份看起来很精确的排名。你愿意被哪种方式拒掉？