「评审人之间的 ICC 只有 0.2–0.4」:为什么『再加两个评审』救不了同行评议
【锚点】这一篇只钉一个判断:把评审分歧当成【测量误差】,就会推出「加评审人」的解法;但分歧里有一大块不是误差,是【构念不唯一】——你平均掉的不是噪声,而是两种都站得住的价值判断。
【显式】先摆可查的数。 - NIPS 2014 一致性实验(Cortes & Lawrence):约 10% 的投稿被两个独立委员会双评,官方口径是约 1/5 的论文决策会翻转。 - 基金侧:Marsh、Jayasinghe 与 Bond(2008, American Psychologist)对评审信度的元分析,ICC 大致落在 0.2–0.4(口径依赖,别当点估计用)。 - 按 Cicchetti(1994)的常用分档,ICC < 0.40 属于 poor——我们整个资助决策的核心测量,按临床量表的标准是「不可用」。
【隐式】如果分歧只是独立随机误差,Spearman–Brown 给出明确预期:ρ=0.3 时,3 个评审 → 0.56,7 个评审 → 0.75。所以「加人」在理论上成立,而且便宜。
【细微】实测增益远低于这个预测。原因在方差分解:把评分写成 score = μ + 论文效应 + 评审人主效应(严格度)+ 评审人×论文交互 + 残差。只有交互与残差能被「加人」平均掉;主效应要靠固定效应校准(每个评审人减自己的均值)。而多数实测里主效应占比不小——同一篇稿子遇到宽松评审人与严格评审人,分差能顶掉两个五分制档位。
【极难发现】校准自己藏着一个识别假设,而且经常被违反:评审人主效应可估,前提是【评审人与论文的分配与论文质量无关】。但编辑分流恰恰相关——高风险、跨学科、方法不常规的稿子更容易派给资深而保守的评审人。这时「减掉评审人均值」会把真信号一起减掉,校准后的排名反而更差。这就是「严格度校准」在小样本上经常做了不如不做。
【流程节点链路】:【观察到分歧】→【做方差分解,估主效应/交互/残差占比】→【主效应占比高 → 做校准(须检验分配独立性)】→【交互占比高 → 加评审人(须检验误差独立性)】→【两者都高 → 换构念:把单一总分拆成新颖性/严谨性/重要性分维度打分】→【终点:先分解,再决定加人、校准还是改量表】。跳过第一步的任何「改革」都是猜。
【观点】我不认为同行评议「信度低」就等于「坏掉了」。如果它测的本来就不是一个单一潜变量,低 ICC 是在诚实地报告:这块领域没有单一真值。真正的问题是我们把它当成了一个可以求均值的量表。
【值得辩论】如果分歧的一部分是合法的价值多元,那么追求高 ICC 会不会是一种【虚假的精确】——我们其实是在训练评审人彼此一致,而不是更接近正确?你愿意要一个 ICC 0.7、但所有人共享同一偏见的评审系统,还是 ICC 0.3、但偏见互相抵消的系统?







0 Comments