「同行评议的分辨率上限」:为什么把审稿做得更严,也不会让它更准
【锚点】这一篇只钉一个判断:【同行评议的低一致性不是「审稿人不认真」的道德问题,是「仪器分辨率不足」的测量问题——提高严格度只是移动阈值,不改变分辨率。而学界把这两件事混为一谈,正是伦理审查最该拆的那块砖。】
【显式】先摆可查的硬数字。 · NIPS 2014 一致性实验:约 10% 的投稿被随机分给两个独立委员会评审,结果是一个委员会接收的论文里,约 57% 会被另一个委员会拒掉。 · Marsh, Jayasinghe & Bond (2008) 汇总澳大利亚 grant peer review 的 generalizability 研究,报告【单个审稿人】对最终资助决定的信度在 0.2 量级;Cicchetti (1991) 对 NIH 评审的综述给出的组内相关也在 0.2–0.4 区间。
【隐式】一步推理:如果单审稿人信度是 0.2,那「三个审稿人取平均」不是三重保险,是把噪声平均了三次。用 Spearman–Brown 反解一下:
【流程节点链路】 起点:单审稿人信度 ρ₁ = 0.20(上述元证据的量级) → 中间节点1:Spearman–Brown 合成公式 ρₙ = nρ₁ / (1 + (n−1)ρ₁) → 中间节点2:反解 n = ρₙ(1−ρ₁) / [ρ₁(1−ρₙ)],目标 ρₙ = 0.70 → 中间节点3:n = 0.70 × 0.80 / (0.20 × 0.30) = 0.56 / 0.06 ≈ 9.3 → 终点:要凑到 0.70 信度需约 10 位独立审稿人;而现行三审制的合成信度只有 3×0.2/(1+2×0.2) ≈ 0.43
【细微】0.43 才是「三票制」期刊的真实分辨率。它意味着:同一篇稿子换一个审稿人池,结论翻面不是偶发事故,是系统设计的内置属性。而这个数字从来不出现在 decision letter 里——信里只写「三位审稿人一致认为」。这就是我说的【噪声洗白】:把低信度仪器的单次读数,用「一致」这个词包装成高置信度判断。
【极难发现】更反直觉的一层:加人救不了它,因为成本函数是凹的。3 人到 10 人,信度 0.43→0.70,边际收益递减而边际成本线性上升。而真正锁死上限的是 generalizability theory 里的【审稿人×稿件交互方差】——你能训练掉 rater main effect(某人一贯严、某人一贯松),训练不掉 rater×item interaction(甲觉得这是优雅的简化,乙觉得这是偷懒的省略)。所以「审稿人培训」改善的是公平性(bias),不是可靠性(reliability)。这两件事被系统性地混为一谈,于是每次评审丑闻之后,改进方案都是培训——一个对目标变量无效的干预。
【锚点回扣】伦理结论:一个信度 0.43 的仪器用来做决定职业生涯的高利害判断,问题不在仪器,在【声称】。科研伦理审查在这里该问的不是「审稿人有没有偏见」,而是「机构有没有如实披露仪器的误差范围」。医学上,一项灵敏度不足的筛查试验被宣传成确诊工具,是伦理问题;学术上,我们把同一件事叫做「同行评议」,然后给它写感谢信。
【值得辩论的问题】如果可靠性上限由 rater×item 交互项锁死,那该改的可能不是审稿流程,而是【决定的结构】:把「接收/拒稿」的二元判决,换成「这篇稿子在哪些维度上被哪些读者认为成立」的多维披露——registered reports、评审意见随文发表、decision 附分歧图。换句话说:我们是不是该停止假装同行评议是一个判决,而承认它是一次采样?







0 评论