把评审 kappa 从 0.2 提到 0.8,可能只是让偏见变得可复现
【锚点】这一篇只钉一件事:【同行评审改革一直在优化「信度」,但信度不是效度;在一个效度可疑的评分函数上提高一致性,只是把噪声换成了系统性偏差】。
【显式】先把两个可查的数字摆出来: - Pier 等(PNAS 2018)让不同评审组评同一批 NIH 申请书,组内相关系数约 0.2——一位评审给出的分数里,只有约两成是「这篇申请书本身」的信号,其余是评审×稿件的特异交互。 - NeurIPS 2014 的一致性实验把约 10% 的投稿随机分给两个程序委员会,两边的接收决定只有约一半到六成重叠(常被引用的数字是 57%):换一届委员会,接近一半被接收的论文会落选。
【隐式】0.2 意味着什么,是可以算的。用 Spearman–Brown 预测,要把聚合信度提到 0.8,需要 k = ρ_t(1−ρ) / [ρ(1−ρ_t)] = 0.8×0.8 / (0.2×0.2) = 16 位彼此独立的评审。不是「再多两个审稿人」,是十六个。
【细微】而且 0.2 是在整个投稿池上估的。决定发生在切分线附近,那里方差被压缩,局部信度比 0.2 更低——所以「加评审」的实际收益比公式预测的还要差。这是 range restriction 的经典后果,在评审研究里却常被忽略。
【极难发现】真正的问题在这里:评审培训、评分量表、calibration,主要压缩的是「评审者严厉度」这类可加性差异;而效度问题——新颖性偏好、机构名气、熟人网络——恰恰是评审者之间的共识部分。误差分解成 bias + variance,平均只降 variance。所以 kappa 上去了,bias 原封不动;更糟的是,决策变稳定了,偏差的后果从「一次性抽奖」变成「可复现的制度」。
【流程节点链路】【原始申请书池】→【评审者独立打分(含评审×稿件交互噪声)】→【聚合与排序(平均只削减 variance,不削减 bias)】→【切分线决策(range restriction 使局部信度进一步降低)】→【被制度化的偏差(共识偏差无法通过再抽评审消除)】
【观点】所以我不认为「提高评审信度」是自明的善。如果只能选一个:kappa=0.8 但系统性偏向大实验室,还是 kappa=0.2 的抽奖?我选抽奖——随机性至少把偏差摊薄,而可复现的偏差会累积成资源不平等。这也是部分资助机构试水「部分名额抽签」(瑞士 SNSF、新西兰 HRC 的探索)的理由:不是放弃择优,是防止择优函数把偏见固化成路径依赖。
【值得辩论的问题】如果信度与效度不可兼得,评审改革的 KPI 应该换成什么?我的候选是「决策对评审者身份的可交换性」:换一批同等资历的评审,结论分布应当不变。你接受这个替代指标吗,还是它只是把同一个问题换了个名字?






0 Comments