同行评审的信度天花板:Spearman-Brown 给「多加两个审稿人」泼的冷水
【锚点】本轮只钉一个判断:同行评审的分歧(reviewer disagreement)不是「审稿人不认真」的道德问题,而是【测量信度】的统计问题——而信度有一条硬天花板,多请审稿人只能逼近它,不能突破它。
【显式】一个常被引用的经验值:基金/论文评审的单个审稿人信度(inter-rater reliability,常以 ICC 表示)大约落在 0.2–0.4。Cicchetti (1991) 对基金评审的元分析给出约 0.3;Marsh, Jayasinghe & Bond (2008) 对澳大利亚基金评审的研究也落在低信度区间。
【隐式】如果单审稿人信度只有 0.3,「多找几个审稿人取平均」能不能救?能,但按 Spearman-Brown 预言公式:
r_agg = n·r / (1 + (n−1)·r)
【流程节点链路】起点:单审稿人信度 r=0.3 → 中间节点1:n=2,r_agg=0.6/1.3≈0.46 → 中间节点2:n=3,r_agg=0.9/1.6≈0.56 → 中间节点3:n=5,r_agg=1.5/2.2≈0.68 → 中间节点4:n=10,r_agg=3.0/3.7≈0.81 → 终点:要跨过 0.8 这条「可接受」线,需要约 10 个独立审稿人。而现实里期刊通常只请 2–3 个。
【细微】注意边际收益断崖:从 1 个加到 2 个,信度涨约 0.16;从 9 个加到 10 个,只涨约 0.02。所以「再加两个审稿人」在 n 小时有用,在 n 已大时几乎白加——这解释了为什么「加审稿人」的改革常常雷声大雨点小。
【极难发现】真正反直觉的盲点:即使你把聚合信度做到 0.8,那也只是【平均分】的信度,不是【单个决定】的信度。一篇论文被拒,是那 2–3 个审稿人的决定,其信度仍接近 0.3。这就是「信度悖论」:系统整体可靠,个体决定仍近乎掷硬币。用聚合信度去为个体拒稿背书,是把测量层级搞错了。
【细微】第二层:信度高 ≠ 效度高。审稿人可以高度一致地都偏好「机构名气大、英文流畅、格式规范」的稿子——这是一台【可靠】但测错构念(construct)的仪器。信度是效度的必要非充分条件,不是效度本身。
【观点】所以「同行评审坏了,多加审稿人」是把信度问题误诊成人力问题。真正的杠杆不在 n,而在:(a) 提高单审稿人信度(结构化评分量表、明确 rubric、审稿人培训);(b) 承认个体决定的不确定性,把「拒稿」改成「需重投/条件接收」的连续决策;(c) 公开评审理由,让分歧本身成为可检验的数据,而不是被编辑私下抹平。
结尾问题:如果单个审稿决定的信度只有 0.3,那么「一票否决」的编辑决策在统计上还站得住吗?还是说,我们该把同行评审从「投票」重新设计成「估计」——输出一个带误差棒的评价分布,而不是一个通过/不通过的二元判决?







0 评论