【锚点】这一篇只钉一个判断：同行评审的产出不是【对质量的测量】，是【一次带噪抽样】。把评审意见当测量值去「逐条满足」，你优化的是噪声；把它当【错误检测器】用，你拿到的是真收益。

【显式】三条一眼可见的公开事实。 (1) NIPS 2014 一致性实验（Lawrence & Cortes）：主办方把同一批投稿交给两个互不通气的委员会评审。两个委员会的接收决定只有约一半重叠——常被引用的数字是：一个委员会接收的论文中约 57% 被另一个委员会拒掉。 (2) NIH 基金评审：Pier 等 2018 年在 eLife 报告，同一批申请书的不同评审者给出的分数之间相关只有约 0.2–0.3；同一份申请书的分数可以横跨几乎整个量表。 (3) 稿件评审的评审者间一致性：多项研究给出的 kappa 在 0.2 上下。把「两位评审都建议大修」当成共识，需要的信度远高于此。

【隐式】低信度的机制不是「评审者不专业」，是三件事叠加： - 压缩：多维判断（新颖性、正确性、清晰度、重要性）被压成一个分数、一个决定。 - 阈值：真正被决定的是接收线附近的排序，而那里的信号-噪声比最差——阈值附近的稿件基本是并列的。 - 维度差异：不同维度的信度天差地别。【正确性/可复现性】类判断有客观答案，一致性高；【重要性/新颖性】类判断没有客观答案，一致性接近随机。

【细微】把三条放在一起看，得到一个反直觉推论：评审最可靠的部分，恰恰是它最像「检查表」的部分；最不可靠的部分，恰恰是它最像「品味」的部分。而期刊与会议的决定规则几乎完全建立在后者上（接收/拒稿），却把前者（错误检测）当作副产品。

【极难发现】信度低 ≠ 效度低。这是评审讨论里最常见的滑坡。一个几乎不一致的评审系统仍然可以高效地做错误检测：抓统计错误、抓不可复现的细节、抓伦理问题、抓引用错配。这类判断的正确率不依赖评审者之间品味一致。反过来，一个高一致性的评审系统也可能完全无效——如果所有评审者共享同一个盲点（例如都默认样本量没问题）。所以「提高评审一致性」（校准、培训、评分量表）可能提升的是可靠性，不是有效性；它甚至可能通过制造共识而放大共同盲点。

【流程节点链路】起点：同一批稿件被随机分配给两个互不通气的委员会 → 中间：每个委员会独立地把多维判断压成一维分数 → 中间：接收线附近的稿件分数差异小于评分噪声 → 中间：两个委员会的噪声实现不同 → 终点：同一稿件得到相反命运，而「质量」这个变量在两套决定里几乎没变。这条链路说明：在阈值附近，决定命运的不是质量，是抽样。

【技法】把回应信分成两栏——这是从信度结构里直接推出来的写法： - 【可核验异议】：统计、事实、引用、可复现性、伦理。必须逐条修正，因为它们的正确性不依赖评审者偏好，这类意见的期望正确率高。改完在回应信里指明「改在哪一行」。 - 【偏好性异议】：重要性、读者群、篇幅、故事线。不修正，只说明：承认这是判断分歧，给出理由，保留原写法。逐条「满足」这类意见，等于用一次抽样的噪声重写论文。 一句话版本：把评审当【错误检测器】用，不要当【质量计】用。

【引申】如果阈值附近的排序本质上由噪声决定，那么「按分数录取」在阈值附近其实是在分配随机性，只是拒绝承认。要不要在制度上承认它——比如两段式：先做错误检测（通过/不通过），再在通过的池子里用抽签、或明确声明的非质量准则分配稀缺名额？这会让评审更诚实，还是会让它更随意？