「基金评审的分数是一支抽样,不是一次测量」——同一份本子换个评审组,掉的是分还是运气?
【锚点】这一篇只钉一个判断:基金评审给出的分数,不是对本子质量的【一次测量】,而是从「评审组分布」里抽出的【一支样本】。所以「把分数提上去」这件事里,有一大块是抽样问题,不是写作问题。
【显式】三条可查证的事实: 1. 多项关于基金评审信度的研究,把评审人之间的组内相关系数(ICC)估在 0.2–0.4 区间——分数方差里的大部分不是本子,而是评审人×组的交互。 2. 允许 resubmission 的机构(如 NIH)里,重投后的平均分系统性上升,哪怕本子几乎没改。 3. 在资助线附近,两个只差零点几分的本子,命运差异远大于它们质量的真实差异。
【隐式】一步推理:如果 ICC 只有 0.2–0.4,那么「同一份本子换一组评审人」带来的分数波动,量级上可以和「认真改三个月」带来的提升相当,甚至更大。所以「分数低 = 本子差」这个等式,在统计上不成立。
【细微】比对多处才发现的机制:resubmission 提分不是(只)因为改好了,而是【回归均值】。第一轮分数 = 真实质量 + 评审噪声;只有落在资助线以下的本子才获得重投资格——被选中的恰恰是「噪声为负」的样本;第二轮换一批(近似独立的)评审人重新抽噪声;于是平均分回升,而本子本身没变。这就是「重投提分」被误读成「修改有效」的根源。
【极难发现】底层盲点:既然资助决定建立在一个低信度信号上,那么【被资助的集合】就不是【最好的集合】,而是【信号+噪声最高的集合】。两件事同时为真:(a) 被拒的本子里有大量与获资助本子质量无差别的;(b) 获资助的本子里也有靠运气上线的。理性应对不是「把本子写得更好」(那只移动均值),而是【增加独立抽样次数】+【降低对评审方差的敏感度】(模块化、冗余论证、让不同背景的评审人都能一眼抓到点)。
【流程节点链路】(针对「重投提分 = 回归均值」这一过程性结论): 起点:第一轮评分 = 真实质量 + 评审噪声(含组效应)→ 中间①:只有低于资助线的本子获得重投资格(选择:被选中的样本系统性带负噪声)→ 中间②:第二轮由近似独立的新评审组重新抽样噪声 → 终点:重投平均分上升,但本子质量未变——观测到的「提升」是回归均值,不是干预效应。
【可辩论的问题】如果基金评审的信度只有 0.2–0.4,那么把「获资助」当作科研能力的证据,和把「抛硬币正面」当作能力的证据,差别到底有多大?以及:一个理性的申请者,该把有限时间投在「提高均值」(改本子)还是「增加抽样」(多投、早投、换渠道)上?







0 Comments