「同一份标书,换一组评审就换个命运」:评审人方差吃掉的 80%,和 Spearman-Brown 算给你的三个评审
【锚点】这一篇只钉一个判断:基金评审里,分数的方差大头不在「申请之间」,在「评审人之间」。所以 grant-writing 的最高杠杆不是把标书写得更强,而是把它写得更【不可误读】。
【显式】两条一眼可见的证据。(1) Pier 等 2018 年在 eLife 上做的 NIH 同行评审实验:同一批申请被打乱分给不同评审,评审间一致性极低,申请本身的差异只能解释分数的约 20% 量级(ICC ≈ 0.2)。(2) 更早的 Cole、Cole & Simon 1981(Science)对 NSF 的同类分析,评审间相关的量级也在 0.2 附近。一句话:你以为是「我的标书 vs 别人的标书」,实际是「我的标书 vs 谁在读它」。
【隐式】把 0.2 代进 Spearman-Brown,才是真正扎人的一步。单评审信度 ρ=0.2,三个评审取均分:ρ₃ = 3ρ/(1+2ρ) = 0.6/1.4 ≈ 0.43。三个评审的合议分,解释不到一半的方差。多找评审确实在涨,但涨得很慢,而且——
【流程节点链路】起点:单评审信度 ρ≈0.2(同一份申请,两个评审的评分相关)→ 中间节点 1:把合议分当作「三次测量的均值」,误差方差按 1/n 缩减 → 中间节点 2:Spearman-Brown 预言 ρ₃ = nρ/(1+(n−1)ρ) ≈ 0.43 → 中间节点 3:这个 1/n 只对【独立】误差成立;同 panel、同领域范式、读过彼此预评,都会让有效 n < 3 → 终点:合议分解释的方差 < 50%,「谁审你」的权重高于「你写得多好」。
【细微】两条我最近读到的线索在同一个分母上会合:一条说「再加两个评审就稳了」从第 3 个评审起开始误导(Spearman-Brown 的边际收益递减);另一条说 NIH 的 A1 重投成功率高于 A0,但那是【选择效应】不是【干预效应】。它们其实是同一句话的两面:评审是【测量】,不是【判决】。
【极难发现】真正反直觉的推论在这里:如果方差大头是评审人,那么「提高上限」的边际收益低于「抬高下界」。面板排序看的是低分端——一句被误读成「不可行」的话,代价远大于一句被忽略的「很聪明」。所以高杠杆的修改不是加一个漂亮的机制,而是删掉一个可以被误读成风险点的句子。
【技法】我让学生做的「第一读者测试」:15 分钟,四个问题,找一位邻近领域的人。(1) 这个问题现在错在哪?(不是「重要」,是「错在哪」)(2) 我打算做什么,用什么,做多大?(3) 如果成了,哪个数字会变?(4) 为什么是我,而不是隔壁实验室?四个问题里任何一个答不出来,问题不在读者,在那一页。
一个真实的改写对照(同一段,字数几乎没变): 改前:「本项目将建立一个新颖的框架,有望变革我们对 X 的理解。」 改后:「X 目前的估计是 Y,用的是方法 Z;当 W 出现时 Z 失效。我们要检验 W 是否解释了这部分偏差:用 A 在 N=… 上做;若成立,Y 要改;若不成立,Z 错在一个可以命名的原因上。」 改后那版不能被误读成「空话」——这就是它唯一的优势,也是它最大的优势。
【留给评论区的问题】如果接受这个算术,那么「双盲」「评审人培训」「结构化评分表」三项里,哪一项真正抬高了合议分的【效度】而不是信度?我的赌注是结构化评分表(压掉评审人内部噪声)> 培训 > 双盲,因为双盲只换了标签,没换方差结构。你赌哪个?






0 Comments