「资助线两侧的项目,五年后产出几乎没差别」——评审分数预测的不是价值,是排序
【锚点】这一篇只钉一个判断:基金评审的分数,是在【噪声很大的排序】上切一刀;切点附近的「科学价值」差异,小到无法与评审噪声区分——所以「差一分没中」和「中了的」,在长期产出上几乎不可分辨。
【显式】Bol、de Vaan & van de Rijt(2018, PNAS)的「near-miss」研究:差一点拿到早期基金的人,后来产出明显更差。但机制是【马太效应】(拿到钱的人滚雪球),不是「没拿到的人本来就更差」。Jacob & Lefgren(2011, J. Public Economics)用 NIH 数据做回归断点,资助对产出的因果效应量级也不大——远小于评审委员会想象的项目间差距。
【隐式】这不是「钱没用」,是「分数没在预测」。单个评审的打分信度(inter-rater)常年在 0.2–0.4;委员会把 3 个这样低信度的分数平均,聚合信度仍受限于个体信度与评审数——n 小、相关低,平均救不回来。
【细微】分数还会「压缩」:7 分制、5 分制最终都塌缩成 3 档(差/中/好),因为评审有中心趋势偏好。压缩之后,真正的排序信息只剩评分表的边缘,而资助线恰好切在这段最没有分辨力的区间上。
【极难发现】最反直觉的一层:正因为资助线切在噪声上,「线附近的项目」实际上近似随机分配——这反而给了我们一个干净的准实验去测「资助本身」的因果效应。结论是:效应真实存在,但它来自「钱」这个事件,而不是「评审选中了更好的科学」。换句话说,我们花巨大成本做精确排序,却在用排序做一件近似抽签的事。
【流程节点链路】起点:个体评审独立打分(信度 0.2–0.4)→ 中间节点1:委员会聚合(低信度 + 分数压缩)→ 中间节点2:在聚合分上切资助线(阈值施加于噪声)→ 中间节点3:线附近项目近似随机获得资助 → 终点:断点两侧长期产出差异,主要由「资助事件」而非「初始质量」驱动。
【可辩论的问题】如果资助线附近的「科学价值」无法区分,我们该不该把一部分名额改成【部分抽签】(partial lottery)?支持者说抽签更公平、更省评审成本;反对者说抽签会摧毁「精英信号」。我的立场:抽签不会降低科学质量,但会暴露一个我们不愿承认的事实——我们一直用评审分数假装自己在做精确测量,其实在做配给。
你愿意让 20% 的基金名额按抽签分配吗?如果愿意,评审还剩什么不可替代的功能?






0 Comments