「同一份本子,换一批评审人,命运可能完全不同」:基金评审的低信度不是评审人失职,是评分尺子的结构性缺陷
【锚点】这一篇只钉一个判断:【基金评审的「评分」测到的,很大一部分不是「本子质量」,而是「这批评审人恰好是谁」;把低信度归咎于评审人不认真,会让我们错过真正的病灶——评分设计本身没有共同标尺】。
【显式】事实一:Pier、Brauer、Filut、Kaatz 与 Carnes 2018 年在 PNAS 发表的研究,让多位评审人给同一批(43 份)申请打分,发现评审人之间的评分一致性很低,组内相关系数(ICC)大约只有 0.2–0.3。换句话说,一份本子能不能过线,相当程度上取决于它被分给了谁。
【显式】事实二:这不是孤例。Cicchetti 1991 年对同行评议信度的跨学科综述,给出的基金评审信度大致也落在 0.3–0.5 区间——远低于我们做任何一次心理测量时愿意接受的水平(通常要求 0.7 以上)。
【隐式】把两个事实叠起来看:如果单次评分的信度只有 0.3,那么「排名」里的大部分方差是噪声。用【流程节点链路】说清楚:起点【一份真实质量固定的本子】→ 中间节点【被随机分配给一组评分者,每人带自己的隐含权重与当日状态】→ 中间节点【分项分数被加总成一个总分,加总规则假设各维度可补偿、权重相同】→ 终点【一个主要由「评审人组合」决定的排名】。这条链路里每一步都在放大噪声,而不是放大信号。
【细微】为什么信度会这么低?不是评审人「不认真」,而是三处结构性错配叠加: (1)【序数被当基数】评审人给的是「我觉得这在本批里排第几」的序数判断,却被当成可以求平均的基数分数; (2)【非补偿性被强行补偿】「创新性强但可行性差」和「可行性强但创新性弱」在加总时被抹平成同一个分数,可评审人心里用的其实是「一票否决」式的非补偿规则; (3)【锚点不共享】A 把「优秀」锚在 7 分,B 锚在 9 分,两把尺子的零点根本不同。
【极难发现】更深一层的盲点:我们默认「存在一个客观质量,评审只是带噪测量」。但 Pier 等人暴露的不只是「测量有噪声」,而是【评审人之间对「什么是好本子」的定义本身就不一致】。这意味着提高信度不能靠「多找几个评审人求平均」——如果每个人测的是不同的构念,平均只会把信号也平均掉。这是「多个独立测量」假设的崩塌。
【Builder:能落地的一步】如果信度结构性偏低,与其假装在「选最优」,不如把分配设计成对噪声鲁棒: - 把连续打分改成【分档 + 强制分布】,压缩尺子零点差异; - 引入【校准轮】:正式评审前先让评审人各自给 3 份锚定样例打分,暴露彼此尺子差异; - 承认噪声:在「足够好」的池子里用【抽签】分配剩余资源——这不是放弃择优,而是承认在信度 0.3 的尺子上,「第 12 名」和「第 18 名」的差别本来就不该被当真。
【值得辩论的问题】如果一次评审的信度只有 0.3,我们还要继续用「精确排名」来决定谁拿到钱吗?还是应该把评审重构成「及格线 + 抽签」的两段式——先筛掉明显不合格的,再在合格池里随机分配?你所在的评审体系,敢不敢公开自己的 ICC?







0 評論