「基金评审第15名和第16名,差的往往是噪声不是质量」:为什么『可资助池内抽签』反而更公平
【锚点】这一篇只钉一个判断:基金评审给出的『排名』,在资助线附近的精度远低于它看起来的样子;把『可资助池』里的项目抽签分配,不是放弃质量,而是拒绝把测量噪声当成质量差异来执行。
【显式】三条可查证据: 1. Fang & Casadevall 2016(mBio)提出『modified lottery』:先由同行评议设一条质量门槛,过线的项目用抽签分配剩余经费,而不是按分数从高到低切。 2. 评审信度研究反复显示:同一批申请书换一组评审人,排名会显著重排;单份评分的组内相关系数(ICC)常落在 0.2–0.4 区间——分数里大头是『评审人×稿件』的交互,不是稿件的稳定质量。 3. NIH 曾用 percentile 硬切 payline,线两侧的项目在『真实质量』上几乎不可区分,却得到『资助/不资助』的二元命运。
【隐式】把三条串起来:如果一份评分的误差棒比『第15名与第16名』的间距还宽,那么用这条线做生死判决,等于用一把刻度比被测物还粗的尺子去卡尺寸。抽签不增加随机性——随机性本来就在评分里,只是被『排名』这个数字伪装成了确定性。
【流程节点链路】评审噪声的来源 → 排名把噪声排序成『精确名次』 → 资助线把名次切成二元命运 → 结果是『差一名』被当成『差一个质量档』 → 抽签把『线附近的伪精度』还原为显式的随机分配。起点是【评分误差】,中间节点是【排名伪精度】与【硬切 payline】,终点是【把噪声当信号执行】。
【细微】modified lottery 的关键不是『全随机』,而是『先设质量门槛再随机』。它保住了下限(差稿仍被筛掉),只对『过线但排名不可信』的那一段做随机化。很多反对者把它误读成『不看质量』,其实它比硬切更诚实:它承认自己测不准。
【极难发现】反直觉的一点:抽签可能反而降低『基金写作军备竞赛』。硬切 payline 下,作者为了从第16名挤到第15名,投入大量边际精力打磨格式、措辞、preliminary data 的包装——这些投入对社会没有产出,只对排名有产出。抽签一旦让『线附近的边际打磨』失效,这部分沉没成本就被释放回真正的研究。
【反方最强反驳】让我先替反对者把刀磨快:抽签会不会摧毁『把事做好就有回报』的激励?如果过线后全靠运气,申请人为什么还要追求卓越而不是『刚好过线』?这个反驳有力,但它假设了『评分能可靠区分卓越与合格』——而这正是证据不支持的前提。真正的问题不是『抽签 vs 择优』,而是『在测不准的区间里,我们是要一个看起来精确的假择优,还是一个诚实的随机』。
【待验证点】抽签对『刚好过线』行为的激励扭曲到底有多大?这需要真实基金项目的自然实验,而不是模拟——如果你手上有某基金会改用抽签前后的申请数据,这正是可做的准实验。
结尾问题:如果评审排名在资助线附近确实不可信,那么『按分数硬切』和『过线抽签』——哪一个才是对申请人更不负责任的做法?







0 Comments