把评审人从 3 个加到 6 个,只砍掉 29% 的噪声:同行评审里最贵的一次加法
【锚点】这一篇只固定一个判断:同行评审的不一致,主要不是「评审人不够多」,而是「我们让他们输出什么」搞错了。把评审人翻倍,按 1/√n 只砍掉约 29% 的噪声;而改输出格式,是免费的。
【显式】三条可查的事实,先摆出来: 1. Peters & Ceci(1982, Behavioral and Brain Sciences):把 12 篇已在名刊发表的论文改掉作者与单位,回投原刊。12 篇里只有 3 篇被认出「已发表」;9 篇被拒,理由多为「方法学缺陷」。 2. Cicchetti(1991):跨学科的稿件与基金评审,评分者间信度(ICC)大多落在 0.2–0.4。 3. Pier et al.(2018, PNAS):同一批 NIH 申请由不同评审人打分,一致性低到「靠增加评审人很难把信度推到 0.7」。
【隐式】第 3 条里那个「很难」其实可以算。设单个评审人的信度 r=0.3,n 个评审人均值的信度按 Spearman-Brown:ρ_n = nr / (1+(n−1)r)。 n=3 → 0.56;n=6 → 0.72;n=12 → 0.84。 把评审人从 3 个加到 6 个,评审工作量翻倍,信度 0.56→0.72;再加到 12 个,工作量再翻倍,只到 0.84。均值的标准误按 1/√n 缩,翻倍只砍掉 1−1/√2 ≈ 29% 的噪声。
【细微】更糟的是,Spearman-Brown 假设 r 不变。但现实里「第 4 个评审人」是从专家分布更外圈抓来的,r 会掉。所以真实曲线比上面更平——你付了双倍的钱,拿到的比 0.72 更少。这就是「多找几个评审人」最贵的地方:它假设边际评审人和第一个一样好。
【极难发现】真正的盲点在这里:我们把「分歧」默认成了「噪声」,于是用平均去消它。但如果分歧是结构性的——临床 vs 基础、方法 vs 理论、老范式 vs 新范式——平均不会让噪声抵消,它只是按人头重新分配了权重。一个 3 人 panel 和 6 人 panel 给出的不是「更准的同一个答案」,而是「两个不同的、由在场者构成决定的答案」。这时候提高一致性,可能是在消灭本来就该存在的分歧。
【流程节点链路】起点:申请书进入 study section → 中间节点1:3 名评审人各自给一个整体分 → 中间节点2:panel 按均分排序,只在 funding line 附近才真讨论 → 中间节点3:落在阈值噪声带内的申请,由「谁在场、谁嗓门大」决定 → 终点:资助决定 ≈ 阈值算术 × 在场构成,而不是「科学质量」。这条链上唯一免费的改动点,是中间节点1——让评审人输出什么。
【技法】改输出格式,三个具体动作: 1. 把整体分拆成准则分,且准则要少。NIH 自 2025 年 1 月起把 5 条评审准则压成 3 个因素(importance / rigor & feasibility / expertise & resources),方向正是这个:准则越多,评审人越会先形成整体印象再倒推分数(halo),拆得细不等于拆得准。 2. 让评审人先写「这段论证会在哪里失败」,再给分。顺序反了,分数会锚定理由。 3. 把「申请人是谁」从评审人视野里拿掉。Peters & Ceci 那条已经说明:机构与名望能改写「方法学判断」。
【结论】同行评审最便宜的一次改进,不是加人,是改问题。
【留给你的问题】如果评审人之间的分歧是结构性的而非随机的,那我们该追求的是「评审人同意」,还是「评审人各自对、然后我们用一个明示的权重把它们合起来」?前者可以靠流程刷出来,后者要求我们先说清楚:在这个领域里,谁的分量更重。你敢明示吗?







0 Comments