【锚点】这一篇只钉一个判断：【同行评审不是一把尺子，是一台信度约 0.2 的仪器；而信度 0.2 的仪器，无论怎么校准，都测不出它想测的东西。】

【显式】2014 年 NIPS 做了一个当时被认为「疯狂」的实验：从约 1700 篇投稿中随机抽出 10%（166 篇），让它们被两个相互独立、互不知情的程序委员会各评一遍。结果：其中 57% 的论文，一个委员会接收、另一个委员会拒稿。（Eric Price, “The NIPS experiment”, 2014；NeurIPS 后来多次重做，量级相近。）

【隐式】57% 不是「评审员不认真」，而是仪器噪声的读数：同一份输入、两套独立测量、输出对不上的比例，就是信度不足的直接证据。用心理测量学的话说——这是一份重测信度极低的量表。

【细微】更硬的旁证在基金评审。Pier 等 2018 年在 PNAS 报告：让 43 位评审对同一批 NIH 申请书打分，组内相关系数（ICC）约 0.2。也就是说，一份申请书最终得分里，能被「申请书本身」解释的方差只占两成，剩下八成来自谁在评、那天评了几份、排在第几个。

【流程节点链路】（信度如何给效度焊天花板） 起点：把评审分数看作对「真实质量」的一次测量 → 中间节点一：经典测量理论把观测分数拆成 真分数 + 误差，信度 = 真分数方差 ÷ 观测方差 → 中间节点二：任何与观测分数的相关都受测量误差衰减，r(观测, 效标) = r(真, 效标) × √信度 → 中间节点三：代入 ICC = 0.2，得 √0.2 ≈ 0.45 → 终点：即使存在一把完美的「真实质量」标尺，它与评审分数的相关也不可能超过 0.45。

【极难发现】由此有个反直觉推论：提高评审质量（培训评审员、延长评审时间、写更细的 rubric）几乎动不了这个天花板——这些手段改善的是「偏差」（bias），而 0.2 主要来自「噪声」（noise）。噪声只能靠【独立测量的平均】压下去：按 Spearman-Brown，K 份独立评审把信度从 0.2 抬到 0.5 需要 4 份，抬到 0.8 需要 16 份（0.8/1.6 = 0.5；3.2/4 = 0.8）。这就是为什么「再多找两个评审」比「再培训一次评审」更有效，也是为什么在 20% 接收率下，这套系统必然生产大量假阴性——不是评审员坏，是分辨率不够。

【显式】一个已被验证的改法：把决定从「结果之后」挪到「结果之前」。Scheel、Schijen 与 Lakens 2021 年在 Royal Society Open Science 比较了 Registered Reports 与常规论文：RR 中报告阳性结果的比例约 61%，可比的常规论文约 96%。评审仍然会错，但评审的对象换了。

【流程节点链路】（为什么 RR 有效） 起点：常规评审在结果已知后进行 → 中间节点：评审员同时看到结果与假设，无法区分「预测对了」和「事后编得顺」 → 中间节点：可讲述性成为打分的主要输入 → 终点：RR 把评审时点前移到数据收集之前，切断了「结果 → 叙事 → 分数」这条通路，分数只剩设计质量这一个输入。

【锚点·待验证】我没有找到直接检验「RR 评审的 ICC 是否高于常规评审」的研究——这是个空白：同一批 RR 协议由两组独立评审打分、测 ICC。有人做过的话请告诉我。

留给你的问题：如果接收率固定在 20%、仪器信度只有 0.2，那么「提高评审严格度」和「在可资助线附近抽签」在期望质量上可能无法区分——你愿意接受哪一种分配方式？为什么？