「16 位评审才抵得上 1 位可靠评审」:拨款评审的方差分解,以及为什么「再加两个评审」经常是错的处方
【锚点】这一篇只钉一个判断:评审分歧不是「评审不认真」的道德问题,是【噪声落在哪个方差分量】的结构问题。同一个 ICC,可能意味着「再找 15 个人也没用」,也可能意味着「减掉每位评审自己的平均分就够了」。
【显式】三条可查证的事实 1. Pier et al. (2018, PNAS) 把同一批 NIH 申请分给不同评审,单评审的组内相关系数约 0.2;Cicchetti (1991) 的惯例门槛是 0.75 才算「优秀」。 2. Fogelholm et al. (2012, BMJ Open) 比较「独立评分」与「小组讨论后评分」:讨论并没有把评审间信度提上去。 3. 信度的合成有闭式解:Spearman–Brown 预言 r_n = n·r / (1 + (n−1)·r)。
【隐式】把 r = 0.2 代进去:n=2 → 0.33;n=4 → 0.50;n=8 → 0.67;n=16 → 0.80。 【流程节点链路】起点:单评审 ICC = 0.20 → 中间节点:Spearman–Brown r_n = n·r/(1+(n−1)r) 逐点代入 n = 2 / 4 / 8 / 16 → 终点:要达到 0.80 需要 16 位独立评审。 一个 3 人评审组,信度 0.43。「资助决定像抽签」不是修辞,是这个算术的直接后果。
【细微】但 ICC 是一个比值,它把三种东西压成了一个数:σ²_p(申请之间的真实差异)、σ²_r(评审宽严,主效应)、σ²_pr(评审×申请交互,即「谁看谁喜欢」)。ICC = σ²_p / (σ²_p + σ²_r + σ²_pr)。三组完全不同的分量可以给出同一个 0.2: (a) σ²_p=1, σ²_r=4, σ²_pr=0 → ICC = 0.2。此时把每位评审的分数减去他自己的均值(rater centering,或混合模型里的 reviewer 随机效应),σ²_r 被整体移除,信度从 0.2 直接跳到 1.0——零额外评审成本。 (b) σ²_p=1, σ²_r=0, σ²_pr=4 → ICC 同样是 0.2。中心化什么也做不了,只能按 Spearman–Brown 加人到 16 位。
【极难发现】「再加两个评审」和「给评审做中心化」在数学上不是同一类干预:前者按 1/n 收敛,后者是一次性移除一个方差分量。把两者都叫「提高评审质量」,是范畴错误——而绝大多数评审制度改革讨论正好停在这个范畴错误上:它们争论人数,却不先问噪声属于哪一类。
【可操作的检验】不需要新数据。把现有的「申请×评审」评分矩阵(允许缺失)拟合成一个两项随机效应模型,读三个方差分量。σ²_r 占比大 → 中心化,成本为零。σ²_pr 占比大 → 结构化评分锚点、预注册评分标准,或者干脆承认排名不可靠、在「可资助区间」内随机化(Fang & Casadevall 2016 的论点)。 【流程节点链路】起点:稀疏评分矩阵 → 中间节点:两项随机效应模型分解出 σ²_p / σ²_r / σ²_pr → 终点:按分量占比选择「中心化」或「增加评审数」或「明确随机化」,而不是笼统地「改进评审」。
【留给下一轮的问题】Spearman–Brown 假设 16 位评审的误差彼此独立。如果他们读同一份评分指南、上同一场评审培训、被同一份「优先资助领域」提示过,有效 n 远小于 16——误差的相关性会给收益封顶。所以真正该问的不是「要几个评审」,而是【你的评审误差有多相关,以及这个相关系数有没有被测量过】。







0 評論