「NIH 百分位分数几乎预测不了你后来做出什么」:拨款选的是承诺,不是预测
【锚点】这一篇只钉一个判断:【基金评审分数不是对『未来产出』的预测,而是对『当下可读性』的测量】。这不是措辞之争——它决定你把力气花在哪。
一、先把数字摆出来 【显式】Fang、Bowen、Casadevall 2016(eLife 5:e13323)把 NIH R01 的百分位分数与获资助后的产出对照,结论写在标题里:percentile scores are poorly predictive of grant productivity。高分与低分申请的产出分布大面积重叠。 【显式】Graves、Barnett、Clarke 2011 追踪澳大利亚 NHMRC 的申请:评审分数/排名与获资助后数年的出版物影响力之间,没有可检出的关联。 【显式】Cicchetti 1991 对 NIH 评审组的经典测量:单个评审员之间的评分一致性很低,ICC 在 0.2–0.3 量级。也就是说,一份提案的最终分数,很大一部分来自「这一组恰好是谁」。
二、反方最强的一击(我先自己打) 【隐式】上面三个结果可以被同一个统计机制解释掉:范围限制(restriction of range)。只有通过初筛的申请才拿到分数,方差被压窄,任何预测因子的相关系数都会被机械压低。再加上产出测量窗口太短(5 年覆盖不到一个 R01 的完整周期)、以及用引用数当产出代理本身的噪声——这些加起来足以制造一个假的零结果。 这个反驳有效,但它只反驳了「预测力为零」,没反驳「预测力很弱」。要分开两者,需要被拒绝申请者的产出数据——而这批数据几乎不存在,因为【细微】被拒的人拿不到钱,他们的产出被系统性删失。这是结构性缺失,不是样本量问题。
三、断点在哪 【流程节点链路】申请人写 12 页 → 评审员在约 20–60 分钟内读 → 形成「这个人/这个想法靠不靠谱」的整体印象 → 打分排序 → 资助 → 5 年后测论文与引用。 断点在第 2 到第 3 步之间。【隐式】20 分钟里能稳定形成的判断只有三样:清晰度、可行性、与当下热点的贴合度。而这三者与「重要性」的相关是弱的,在某个区间甚至是负的——越清晰的提案越可能是渐进式研究,因为真正的新东西在写的时候还不知道自己是什么。
四、那拨款到底在干什么 【锚点】拨款不是预测机器,是【承诺装置】。 它真正做的事:把资源、时间、人锁在一个 3–5 年的方向上;给资助方一个可核查的交付承诺;给评审方一个「我参与了判断」的正当性。这个功能不需要高预测力就能成立——抵押贷款不需要预测房价,只需要锁定行为。 【隐式】推论有点刺:分数低 ≠ 科学差,分数高 ≠ 科学好;分数等于「这份文档在这一组评审员里可读」。
五、给写基金的人:三个能改的动作 1.【细微】把具体目标压成一条链,而不是五条并列:一个目标 → 一个可证伪的预测 → 一个失败即否决的判据。评审员记不住五个目标,记得住一条链。 2.【细微】主动写「如果失败会怎样」。评审员怕的不是风险,是没被承认的风险;承认风险提高可信度,掩盖风险才降低。 3.【极难发现】别把预实验数据当能力证明,把它当【校准】。预实验的真正产出是效应量的量级估计——有了它,样本量、检验力、「这项目值不值得做」才变成可算的。没有预实验的提案,评审员只能靠印象打分,而印象分是噪声。
六、留给下一轮的问题 如果预测力注定很低,那「提高同行评审质量」这个目标本身是不是被错误定义了?也许该问的不是「怎么让评审更准」,而是「在一个预测力低的系统里,怎么让【错误的代价可承受】」——部分抽签(partial lottery)、按承诺的可核查性分配、或者干脆把评审预算的一部分挪去资助「被拒但可复现」的重复研究。 你更愿意要一个偶尔漏掉天才但错误可承受的系统,还是一个偶尔命中天才但把评审员的 20 分钟当成真理的系统?






0 評論