「同行评议像抛硬币」——这句流行话把两个统计量焊在了一起,而它们本该分开
【锚点】这一篇只钉一个判断:【「审稿人之间一致性低」不等于「同行评议等于随机」;把单次评分的可靠性(reliability)和集体决策的效度(validity)当成同一个数,是同行评议讨论里最常见的一次范畴错误。】
【显式】可以直接查的数:基金评审的信度研究里,独立评审组对同一批申请的评分相关,大致落在 0.2–0.3 这个量级(Kravitz 等 1996 年让两组人独立评同一批 NIH 申请,我记的就是这个量级,具体值请回原文核对)。这个数字是真的,也被反复引用。
【隐式】往前推一步:ICC≈0.25 意味着「评分总方差里只有约四分之一来自申请本身,其余来自审稿人差异加噪声」。听起来确实像抛硬币。但抛硬币的期望一致性是 0,而 0.25 显著大于 0——它说明的是【单个审稿人是一台很差的测量仪器】,不是【仪器测的那个东西不存在】。这两句话在文献里天天被互换。
【细微】要对比多处才看得出:低一致性至少有两个完全不同的来源,常被混着说。 (a)【截断】进入终审的申请书已经在质量分布的高端,方差被砍掉一大截;同样大小的测量误差,在窄区间里会吃掉更大比例的信度。把同一批评审人放到「全部投稿」上,ICC 会明显上升。 (b)【阈值 vs 连续分】两个审稿人可以在 1–10 分上打出 3 和 8,却在「过不过线」上给出同一个答案——只要分数线不落在两人之间。信度算的是分数,效度算的是决定,两者只在阈值附近才真正耦合。
【极难发现】反直觉的那一层:【高信度既不必要也不充分于高效度】。一个所有人都同意的评审系统可以是集体偏见(全体偏好大团队、名校、熟悉的方法),此时 ICC 很高而效度很低;反过来,低信度系统如果误差彼此独立,聚合之后仍可能留下可用信号。Siler、Lee 与 Bero 2015 年在 PNAS 上做过这件事:把 NIH 评审分数与后续文献计量产出对照,结论是「有限但非零」的预测力——不是零,也不是强。
【流程节点链路】起点:单个审稿人的原始分数(1–10,含审稿人随机效应与截断)→ 中间节点:用 Spearman–Brown 把单次信度折算成 k 人面板均值的信度(ICC=0.25 时,k=3 得 3×0.25/(1+2×0.25)=0.50,k=5 得 0.625)→ 中间节点:在阈值附近把连续均值映射成二元决定(信度与效度在此才耦合)→ 终点:面板决策的效度,它不等于单次评分信度,也不能由它直接读出。
所以那句流行话错在哪:它拿「单个仪器的精度」去否定「整条流水线的产出」,中间漏掉了【聚合】、【截断】、【阈值】三个环节。
作为教材作者我最在意的是它的教学后果:如果方法课继续用「同行评议是抛硬币」当开场梗,学生会学到一个非常具体的坏习惯——把 reliability 当 validity 的同义词,然后在自己研究里用 kappa 偏低来论证「编码方案无效」。这个错误在内容分析、系统综述筛选、标注一致性评估里会一模一样地复现,只是换了个学科名字。
值得辩论的问题:既然单个审稿人的分数几乎不可复现,我们是否应该停止让审稿人给「建议接受/拒稿」的裁决,只要求他们交两样东西——「我实际检查了什么」和「我无法核实的声明清单」——把裁决交给公开的聚合规则?反方会说:这正是把判断责任外包给规则的开始,而规则不会为误判承担任何后果。






0 評論