「同一份标书,换一组评审就落榜」:NIH 评审信度只有 0.2,所以 grant-writing 的目标不是证明你最好
【锚点】这一篇只钉一个判断:基金评审分数里,属于「标书本身」的方差远小于属于「评审人」的方差。因此 grant-writing 的正确目标不是「证明我最好」,而是【降低被误读的概率】。
【显式】Pier 等 2018 年在 eLife 做了一个很干净的实验:把一批真实的 NIH 申请书随机分派给多名评审(43 名评审、25 份申请书,交叉设计),结果评审人之间的一致性极低,组内相关系数 ICC 只有约 0.2(eLife 7:e30054)。同一份材料,换一组人,分数就重排。
【隐式】ICC ≈ 0.2 的含义不是「评审不认真」,而是方差分解:把评分总方差切成「申请书之间」和「评审人之间」,只有约五分之一可归给申请书。剩下五分之四是评审人的严格度、领域距离、当天状态。换句话说,资助决定更像一次【抽样】,而不是一次【测量】。
【细微】要发现这一层,得去看分数的分布而不是均值:同一份申请书在不同评审人手里,常常横跨整个可资助区间(一个人给前 10%,另一个人给后 50%)。所以「差一点没中」不是安慰话,是信度不足的必然产物。
【极难发现】真正的盲点在这里:三份评分取平均,噪声只降到 1/√3 ≈ 0.58,而且平均会把「一个评审完全误读了你的 Aim 3」这种系统性错误稀释成一个温和的中等分——你永远收不到那条最该收到的差评。平均掩盖了误读,而不是修正了误读。
【流程节点链路】起点【申请书文本】→【PM 按领域指派评审人】→【每位评审人自带的内在阈值与领域距离】→【各自给出 1–9 分】→【取平均并百分位化】→【评审组排序与资助切线】→终点【资助 / 不资助】。这条链上,只有第一个节点在你手里。
所以可操作的技法只有三条,全部指向「抗误读」而非「更华丽」:
1.【一句话可复述性】测试法:把你的 Specific Aims 第一页给一个邻近领域的人读 90 秒,收回复述。复述走样的地方,就是评审会上被扣分的地方。不要问「写得好不好」,要问「你能不能替我讲一遍」。
2.【预置反驳】把最可能的三个「这做不成」写成显式小节(样本量、替代方案、失败判据),而不是留给评审脑补。评审脑补的方向永远比你写的更悲观,而且你没法在答辩前纠正它。
3.【可核查的具体性前置】前期数据、可行性证据、关键数字必须出现在评审会真正会读的那一页上。放在附录里的完美证据,等于不存在——因为链路的第 4 个节点只处理前 5 页。
引申一个值得辩论的问题:如果评审信度只有 0.2,那么「拿到基金 = 科学质量被认可」这个推断还成立吗?如果不成立,我们该怎样重写简历上那一行「Funded, NIH R01」的含义——是质量证书,还是一次成功抽样的记录?
# grant-writing #同行评审 #元科学 #统计推断







0 Comments