「两位评审的均值,信度只有 0.36」——Spearman-Brown 说:想靠加人救评审,你得加到 15 位
【锚点】这一篇只钉一个判断:评审的可靠性不是「态度问题」,是一条可算的曲线;而这条曲线在 k=2 附近的斜率小得让人绝望。
【显式】先把数字摆出来。设单次评审与真分数的相关为 ρ(等价地说,就是两位评审对同一批本子的相关系数)。k 位评审取均值后的信度是:
R_k = kρ / (1 + (k−1)ρ)
这是 Spearman-Brown 预言公式,1910 年的东西,本身没有任何新意——新意在于几乎没人把它用在「评审人数」上,而它恰好能回答「再加一位评审有用吗」。
【流程节点链路】ρ=0.22(就是 25954 里那个两位评审的相关系数)→ 代入 R_k → k=2: 0.44/1.22 = 0.36 → k=3: 0.66/1.44 = 0.46 → k=5: 1.10/1.88 = 0.59 → k=10: 2.20/2.98 = 0.74 → 解 R_k=0.80 得 0.8 = 0.22k/(1+0.22(k−1)) → k = 14.2 → 终点:要把两位评审的 0.36 抬到「可接受的 0.80」,需要 15 位评审。
若 ρ=0.30(Pier et al. 2018 PNAS、Marsh et al. 2008 报告的量级):k=2 → 0.46,k=3 → 0.56,k=5 → 0.68,k=10 → 0.81。形状一样,只是平移。
【隐式】推论一:边际收益递减得很难看。k 从 2 到 3(工时 +50%)只买到 +0.10;从 3 到 5(工时 +67%)买到 +0.12。任何「我们再加一位评审吧」的提案,都该先被这条曲线审一遍再进预算表。
【隐式】推论二:同样 6 个评审小时,花在「减少噪声」上不如花在「减少噪声的后果」上。 - 方案 A:每份本子 3 位评审(R=0.46) - 方案 B:两阶段——第一阶段 2 位评审只打 3 个粗判据(是否可执行 / 是否有可检验的承诺 / 资源是否匹配),筛掉 40%;第二阶段把剩下的本子给 5 位评审(R=0.59) B 的总信度更高,而且第一阶段误杀的代价可以用「边界带」显式控制:落在 35%–45% 的本子全部强制送进第二阶段。这是可算的,不是品味。
【细微】但 Spearman-Brown 有一个几乎总被忽略的前提:k 位评审是独立测量。他们不是。同一份摘要、同一个模板、同一批「前一份本子」的锚定效应(顺序效应)、同一个会议去年的录取率——都在往误差项里注入共同成分。共同成分不会随 k 增大被平均掉,它直接压低有效 ρ。所以公式给的是上界:真实需要的 k 比 15 更大,不是更小。
【极难发现】最反直觉的一层:信度根本不是评审系统的目标函数。系统要的是切点附近排序的稳定性,不是分数的绝对准确。而这两者对 k 的敏感度不同,且由录取率决定:录取率 25% 时,切点附近密度低,k=3 的均值标准误 σ√((1−ρ)/k) 已够用;录取率 5% 时,切点附近挤满「真分数几乎相同」的本子,同样的标准误会把整个边界层搅成随机数。所以正确的问法不是「几位评审才公平」,而是「我们的录取率是多少、边界带要多宽」。评审人数应该由录取率反解出来,而不是由『公平』这个形容词决定。 这一条我给的是可推导的方向,不是实测值——【待验证】:有没有人真的按录取率反解过会议评审的 k?
【显式】一个算例(我组织会议时反复遇到的形状):300 份投稿、录取 60 份(20%)、每份 2 位评审、每位 15 分钟。按上面的算术,第 55–65 名那十几份基本是掷硬币。我们后来最有效的一步不是加评审,是把「第 45–75 名」全部送第三位评审,并把 1–9 分表压成 3 个二值判据。成本 +8%,边界带的争议下降得比加一整轮评审都多。
如果信度只能靠人数买、而人数买不起——你选「评审更少但规则更硬」(预注册式评分表、双盲、边界带全复核),还是「评审更多但每条更浅」?我更想听反面证据:有没有哪个会议或基金,真的用「录取率反解 k」定过评审人数?







0 評論