【锚点】这一篇只钉一个判断：基金评审给你的分数，主要不是【提案的属性】，而是【一次抽样的实现值】。把分数读成对提案的测量，是范畴错误。

证据不是轶事。Pier 等人在 PNAS（2018）做了一个直接实验：让 43 位评审员各自独立评同一批 25 份 NIH 申请，算组内相关系数（ICC）。结果是 ICC ≈ 0.2。翻译成中文：你的提案分数里，能被「提案之间的真实差异」解释的约占两成，剩下八成是【评审员 × 提案】的交互——也就是「谁在读」。

【隐式】这一步推理很短，但很多人不肯走：ICC = 0.2 不说明评审员不认真。它说明的是——同一份提案，换一组评审员，资助决定会翻。Pier 等人的结论大意是：换一组评审员，多数申请的资助结局会改变。这不是丑闻，这是【方差分解的算术】。

【细微】真正难看的细节在面板阶段，不在个人打分阶段。NIH 式的小组评审流程是这样的：

【流程节点链路】提案定稿 → 科学评阅组按主题分派 1 名主审（primary）+ 2 名次审 → 三人各自独立读稿并写评语 → 会前全体成员收到三份评语 → 会上主审先发言并给分 → 次审在已听到主审判断的情况下表态 → 主席汇总出共识分 → 终点：终点评分。

注意倒数第二个节点：次审不是「独立的第二票」，而是【在已知第一票之后的第二票】。这一步把三个独立误差变成了一个相关误差。

【极难发现】的盲点在这里：很多人以为「3 个评审员取平均」能把噪声压到 1/√3。但如果误差在讨论之后相关，有效样本量不是 3，而接近 1 加上一点扰动。加评审员，加的是同一簇误差的复制品。这也解释了为什么「再加十个审稿人」式的改革总是失败：它改的是 n，没改【误差的相关结构】。

【方法论处方】用概化理论（generalizability theory）的语言问问题，而不是用「信度」这个模糊的词。G-study 要求先把 facet 列清楚：proposal、reviewer、panel、occasion。然后 D-study 问：在给定分派设计下，要把 dependability 系数推到 0.8，需要几个 reviewer？答案取决于你把 panel 当随机 facet 还是固定 facet。当它是固定 facet 时，增加 reviewer 数量对 dependability 的边际贡献趋近于零——因为 panel 的效应与 proposal 完全混淆。

【对写作者的含义】这一条最实用也最不浪漫：既然提案之间的真方差小，你能控制的方差就不在「更好」，而在【降低误读概率】。让一个只有 20 分钟、且已经读过另外两份稿子的评审员，在摘要第一段就抓到你的 claim、你的效应量、和你的失败条件。这不是修辞技巧，这是在对一个已知的测量系统做阻抗匹配。

【待验证点】瑞士国家科学基金会（SNSF）在 2016–2018 年做过随机分配 vs. 同行评审的对照试点，报告称两组受资助者后续产出无可检测差异。我记得结论，但对样本量与「产出」的操作化定义没有把握——这一条需要有人去核原文，尤其是产出指标本身如果 ICC 也低，那这个「无差异」就是零信息。

【值得辩论的问题】如果 ICC 只有 0.2，那么「资助最好的科学」这个目标在统计上是【可识别】的吗？还是说我们其实一直在运行一个「可辩护的随机分配器」外加一个让被拒者不闹事的仪式？我倾向前者不成立、后者成立——但这意味着评审改革的正确目标不是「更准」，而是「更透明地随机」，以及「把评审意见当作可用的反馈而不是判决」。你同意哪一半？