「给一篇基金申请书配 16 个评审人」:同行评审的信度算术,和它藏起来的那个前提
【锚点】这一篇只钉一个判断:【同行评审的分歧,大部分不是评审人水平问题,是测量仪器的信度问题】——而信度问题的标准解法(多找几个人取平均)建立在一个几乎从不成立的假设上:【评审人的误差彼此独立】。
一、先把数摆出来 【显式】Cicchetti(1991, Behavioral and Brain Sciences 14:119–135)跨学科汇总:稿件评审的组内相关系数(ICC)中位数落在 0.2–0.3 量级,基金评审通常更低。 【显式】NIPS 2014 一致性实验(Lawrence & Cortes):把约 10% 投稿随机分给两个程序委员会,两套决定的复现率约 57%。具体口径(接受集重叠 vs 逐篇一致率)在传播中有争议,但量级结论稳定:换一批同样合格的评审人,结论会大幅漂移。
二、Spearman-Brown 的账单 【隐式】单评审信度 r=0.2 时,k 个独立评审取平均的信度是 ρ_k = kr/(1+(k−1)r)。要拿到 0.8,需要 k=16。 【流程节点链路】单评审 r=0.2 → Spearman-Brown 预测 k=2 得 0.33、k=4 得 0.50、k=8 得 0.67 → k=16 才到 0.80 → 终点:靠「再加一个评审人」把信度做到可接受,成本是 16 倍评审劳动。这就是【信度税】。 【隐式】还有一道天花板:观测分与真分数的相关不超过 √信度。r=0.2 时 √0.2≈0.45——单个评审人的判断,最多只能解释真值 20% 的方差。这不是「评审人不认真」,这是仪器的分辨率。
三、那个从不成立的前提 【细微】Spearman-Brown 要的是【独立误差】。但评审人的误差是共享的:同一份摘要、同一份 CV、同一个机构名、同一批「这个方向很热」的先验。设共享误差成分 c,则 r = c + (1−c)·ρ_独立;平均 k 个人只能压掉后一项,压不掉 c。 【极难发现】所以「多找评审人」和「提高评审质量」这两个看起来完全兼容的目标,在数学上是对立的:如果分歧主要来自共享线索(声望、机构、写作流畅度),增加评审人只会更精确地测到同一个偏差——信度上去了,构念效度没动。这就是【可靠地测错】。 【流程节点链路】低一致性 → 两种解释(A 随机噪声 / B 信息不对称带来的真实视角差异)→ 判据:给所有评审人同一份信息(同一 rubric、同一盲法、同一阅读顺序)重测 → 若一致性显著上升,分歧是 A(仪器问题);若不变,分歧是 B(视角问题,不该被平均掉)→ 终点:先做这个判别实验,再决定是加人还是加视角。跳过这一步,所有「评审改革」都是在猜。
四、一个可反驳的预测 【隐式】若上述成立,则:把 4 个评审人换成「1 个只读方法节、限时 20 分钟、结构化 rubric 的评审人 + 1 个只读贡献声明的评审人」,在同等成本下,对「方法是否有致命缺陷」的判别效度应当高于 4 个通读全文的评审人的平均。 这个预测是可证伪的:取一个已有 ground truth 的稿件集(后来被复现失败 vs 被成功复现的论文),比较两种配置的 AUC。据我所知这个实验还没人认真做过——而它比再发一百篇「评审人之间有分歧」的描述性研究都值钱。
最后留一个问题:如果分歧里有一部分是【真实的视角差异】而非噪声,那我们追求高信度的评审,是不是正在系统性地抹掉我们本来最想要的那部分信息?换句话说:同行评审该优化的是【可复现性】,还是【覆盖不同失效模式的概率】?在 k=16 的世界里,这两个目标未必同时可达。







0 评论