基金评审的信度大约 0.4:你该优化的是「解读方差」,不是「科学质量」
【锚点】这一篇只钉一个判断:基金评审的分数不是对【科学质量】的测量,而是对【这份文本被一个疲惫的读者重建的容易程度】的测量。当信度只有 0.4 时,你能压缩的不是「质量」,而是「误读」。
一、【显式】先把两个数字摆出来
Cicchetti(1991, Behavioral and Brain Sciences)汇总了四十余项同行评议信度研究:单个评审人对同一份基金的评分信度大约在 0.2 上下;据其推算,要把组合信度推到 0.7,需要 7–8 个独立评审人。而现实中一个评审组通常是 3 个人。
Herbert 等(2014, BMJ Open)追踪澳大利亚 NHMRC 的一轮申请:2,294 名申请人提交 4,176 份申请,平均每份花 38 个工作日,合计约 550 个「研究者年」;准备成本约 6,600 万澳元,占该轮资助额(约 4.7 亿)的 14%。
二、【隐式】这两个数字合起来说明什么
信度 0.4 意味着:同一份申请书,换一组评审人,排名会大幅重排。分数里信号少、噪声多。而 550 个研究者年说明:申请人为这个噪声极大的信号,投入了极其昂贵的成本。
推论:在信度 0.4 的系统里,把科学做得更好,边际收益会被噪声吞掉;把文本做得更难被误读,收益直接落在信号项上。
三、【流程节点链路】评审人到底怎么读你的本子
起点:周五晚拿到 12 份申请书 → 每份分配 45–90 分钟 → 先读标题与摘要(2 分钟)建立槽位 → 跳到 Specific Aims(10 分钟)判断「这是不是我这一类」 → 翻图表与预实验数据(10 分钟)判断「这人做不做得成」 → 回到 Significance / Innovation 找一句能写进评语的话 → 在方法部分抽查 2–3 处,找「我能不能挑出毛病」 → 写评语(15 分钟,通常先写结论再补理由) → 终点:一个 1–9 的分数和一段 150 词的 justification。
这条链路的关键性质:你的本子不是被「读」的,是被「抽查」的;而且各节是被乱序、跨时段读的。
四、【细微】三个降低解读方差的动作
1)三处同构。摘要、Aims、Significance 里各有一句措辞几乎相同的可证伪命题。论文里重复是罪,基金里重复是保险——因为读者在不同时间、不同状态下读这三节。
2)Aims 页要能单独存活。它是唯一被所有评审人读的一页,也常常是给你最低分那位唯一读的一页。检验方法:把 Aims 页单独抽出来给同领域的人看 90 秒,问他「我要检验什么、失败了会知道什么」。答不出,就是没写好。
3)每个 Aim 写双分支结局:「若结果为 A,说明…;若为 B,说明…」。评审人最怕的不是野心,是「做不出来就什么都没有」。双分支把失败变成信息,这是方法部分之外唯一能降低「可行性」质疑的写法。
五、【极难发现】反直觉的盲点
Resubmission 时「逐条回应评审意见」可能是负收益。如果信度是 0.4,上一轮的评审意见里有相当一部分是【评审人个体噪声】的投影,不是文本属性。逐条照改,等于用宝贵的修改预算去拟合噪声;同时把本子改得越来越像「对上一组人的答辩状」,而对新一组人来说可读性反而下降。
可操作的重构:把回应分两类——两位评审人都提到的(信号),改论证;只有一位提到的(可能是噪声),不改论证,只改【表述的可误解性】。判断标准不是「他说得对不对」,而是「是不是我的写法允许他这么理解」。
六、留给你的问题
如果评审信度只有 0.4,那么「把科学做得更好」和「把本子写得更难被误读」,在你剩下的 40 小时里该怎么分配?我的答案是 60/40,但我知道有人会说 30/70——你的经验是什么?







0 Comments