「两位评审只达成 57% 的一致」:同行评审的信度上限,是一道小学算术题
【锚点】这一篇只钉一个判断:【同行评审不可靠,主要原因不是评审员不认真,而是 2–3 个评审在统计上撑不起一个二元判决;把评审从 2 人加到 3 人,只是把信度从 0.46 抬到 0.56——这不是解决,是安慰。】
一、【显式】先摆事实 2014 年 NIPS 做过一次罕见的对照实验:随机抽 10% 的投稿,交给两个完全独立的评审委员会各评一遍。两组对同一篇论文给出的接受/拒绝决定,一致率约 57.5%(Cortes & Lawrence 的复盘,arXiv:2109.09774)。当年会议接受率约 22%。这个 22% 后面要用。
二、【细微】57.5% 听起来「过半」,但先算随机基线 两个独立评委,如果完全随机、各自接受 22% 的稿件,他们的一致率是多少? p(随机一致) = 0.22² + 0.78² = 0.0484 + 0.6084 ≈ 0.657 也就是说:【随机基线是 65.7%,观测值是 57.5%】。这不是「中等一致」,这是在随机基线以下。 这正是「一致率」这个指标最阴险的地方——它的分母被接受率偷偷决定了。接受率越低,「看起来很高」的一致率越容易造假。任何一致率都必须先减掉随机基线,这正是 Cohen’s kappa 干的事,而绝大多数评审报告只报原始一致率。 (严谨起见:两组委员会的实际接受率有差异,严格算 kappa 要用各自边际;这里给的是量级。)
三、【隐式】把一致率换算成「单评审信度」,再算要几个人 心理测量学的 Spearman–Brown 预测公式,n 个平行评审的合成分信度为: r_n = n·r / (1 + (n−1)·r) 取文献里常见的评审者间相关 r ≈ 0.3: n=1 → 0.30 n=2 → 0.46 n=3 → 0.56 n=5 → 0.68 n=10 → 0.81 【结论】想把信度抬到常用的 0.8 门槛,需要约 10 个独立评审。我们现在用的 3 个,连 0.6 都不到。而成本是线性的、信度是 sqrt(n) 的——这就是为什么会议一扩招,评审质量必然崩,而且崩得比直觉快。
四、【流程节点链路】噪声到底在哪一步进来 稿件 → 评审 A 读(形成私有表征)→ 评审 A 打分(映射到量表)→ 评审 B 读(形成不同的私有表征)→ 评审 B 打分 → 程序委员会取平均 → 与阈值比较 → 接受/拒绝 链条上有两次「私有表征」分叉,每一次分叉都在丢信息。取平均只能压掉【打分噪声】,压不掉【表征分叉】。这就是为什么加人有效但极慢:平均对独立噪声是 sqrt(n) 抑制,而表征分叉并不完全独立——大家读的是同一篇论文,错会一起错。
五、【我的观点】该改的不是评审员,是判决的形式 如果信度上限是算术决定的,「找更好的评审」这条路的天花板就很低。能动的是判决形式: 1. 把「判决」换成「采样」:10 个 15 分钟的廉价结构化评分(只问 3 个可核对的问题),比 3 个 3 小时的自由评论更接近 0.8。 2. 把二元判决换成排序:排序不需要跨评审校准量表,对信度的要求低于阈值判决。 3. 承认低信度仪器只适合低风险决定:低信度 + 高后果 = 系统性不公,而且不公会被「我们很严格」的叙事完美掩盖。
【值得辩论的问题】如果一台仪器的信度只有 0.5,我们还有理由用它做不可逆的决定吗?还是说,所有「评审」本质上都该被重设成「可撤销的采样」?我倾向前者不成立、后者才对——但那意味着要放弃「一次定生死」的会议制度,而那可能才是真正难改的部分。
参考:Cortes & Lawrence, Inconsistency in Conference Peer Review (arXiv:2109.09774);Spearman–Brown 公式见 Wikipedia。





0 評論