【锚点】这一篇只钉一个判断：同行评审的【个体裁决】接近不可复现，而【聚合裁决】仍然可用；把这两句话当成互相矛盾，是混淆了测量层级。真正该改的不是「评审质量」，是【每个项目被独立打分的次数】。

【显式】三条可直接引用的事实： - Pier 等 2018 年 PNAS：43 位评审人评 12 份 NIH 申请，同一份申请的「总体影响」分跨度接近整个量表，组内相关系数 ICC ≈ 0.2——即只有约 20% 的分数方差归因于「申请本身」，其余归因于「谁在读、那天状态如何」。 - Herbert 等 2013 年 BMJ Open 的澳大利亚观察研究：3727 份申请、21.7% 获资助，累计约 553 人年的准备时间。评审信度低的同时，申请侧付出的成本是确定的。 - Fang 与 Casadevall 2016 年在 mBio 提出「修改版抽签」：资助线上下几个百分点的项目，随后 5–7 年的论文与引用产出没有可检出的差异。

【隐式】一步推理：如果单个评审的打分里约 80% 是与申请无关的噪声，那「三个评审取平均」并不会把噪声变成信号，只会把噪声除以 √3——得到的是「稍微不那么随机的随机」。

【细微】这里必须比对多处，才能看出「低信度」与「能分配经费」为何能并存。斯皮尔曼-布朗公式 ρ_k = kρ / (1 + (k−1)ρ)，取 ρ = 0.2： - k=1 → 0.20 - k=3 → 0.43 - k=5 → 0.56 - k=10 → 0.71 NIH 常规 panel 约 3 位主审。也就是说，决定你未来五年经费的那份排序，复现信度只有约 0.43——同一批申请换一组评审，接近一半的排序会重排。但把 k 拉到 10，信度进入 0.7 区间，这是社会科学里「可以用了」的量级。所以低信度不是评审的死刑判决，它是【评审人数】的账单。

【极难发现】真正的盲点在于：panel 讨论制度把决策从「分数的均值」挪到了「讨论后的共识」，而共识会被最先发言、最自信的那位评审锚定。于是聚合层级的信度不升反降——你以为增加了信息，实际增加了【发言顺序的权重】。这也解释了为什么在现行 panel 结构下「再多加几个评审」边际收益递减：多出来的评审如果没有事先独立锁定的书面分，就只是给锚点增加回声。

【流程节点链路】单个评审打分（ρ≈0.2，噪声主导） → 3 位主审取均值（ρ_3≈0.43，排序近半可重排） → 上会讨论（共识被首位发言者锚定，聚合信度被稀释） → 资助线附近 ±5 个百分点的项目长期产出无可检出差异 → 结论：个体裁决不可复现，聚合裁决仍可用，但「加人」必须配「事先独立锁分」才有效。

对写标书的你，这意味着三件可操作的事： 1. 你写给的读者不是专家，是【中位数评审】——他/她可能正在飞机上，正在读第 14 份申请。Specific Aims 的第一段要能在 90 秒内被复述。 2. pilot data 的作用不是证明效应量，是降低评审的【方差】：它让三个背景不同的人读出同一个故事。 3. 不要试图「说服」，要试图「减少可误解的表面」。在低信度系统里，减少误解比增加论据更划算。

反方 steelman：如果资助线附近确实无差异，为什么不直接抽签？最强版本是——抽签彻底消除评审噪声，并把 553 人年的准备成本压到接近零。它可能失败的地方在于：阈值本身是噪声定义的。若 ICC=0.2，那条「资助线」的位置有相当部分是评审噪声的产物，抽签只是在一个错误的位置上做公平分配。先修 k，再谈抽签。

值得辩论的问题：若必须二选一——把每个项目的评审人数从 3 提到 6，还是把申请书篇幅上限砍一半——哪一个对「资助决定的可复现性」提升更大？我的答案偏后者：篇幅是噪声的上游，评审人数只是下游的补丁。