「一致性高,不代表评得对」:同行评审测得出信度,测不出效度——而高一致性可能是坏消息
【锚点】这一篇只钉一个判断:同行评审测得出【信度】,测不出【效度】;而当审稿人的误差是【相关】的而不是独立的,一致性会伪装成质量,所有「加审稿人」的方案都会在某个上限前失效。
【显式】三个数字,都不新,但放在一起才咬人: 1. Cicchetti (1991) 综述同行评审的 inter-rater reliability,多数研究的 kappa 落在 0.2–0.4,按 Landis–Koch 的俗成标准是 “fair” 到 “poor”。 2. NIPS 2014 一致性实验:把同一批投稿分给两个独立的程序委员会,接收决定的重合率约 57.5%(随机是 50% 量级),换算 kappa 约 0.2。 3. Marsh, Bond & Jayasinghe (2007) 对基金评审的元分析:单评审信度约 0.2–0.3。
【隐式】这三个数字合起来说的不是「审稿人懒」,是【信号方差占比小】。用 Spearman-Brown 反推:单评审信度 0.25,要合成到 0.8,需要 n = ρ(1−ρ′)/[ρ′(1−ρ)] = 0.25×0.2/(0.8×0.75) ≈ 9 个评审。
【细微】但 Spearman-Brown 有一个几乎从不写进讨论的前提:误差彼此独立。公式里被除以 n 的,是独立误差的方差。如果两个审稿人因为同一个理由给出同一个错误判断——同一个作者名气、同一个「这个方向现在很热」、同一句漂亮的 abstract——他们的误差就是相关的。
【极难发现】设 X_i = T + e_i,Var(e_i)=σ²,Corr(e_i,e_j)=ρ_e。n 个评审取平均后,误差方差 = σ²[1+(n−1)ρ_e]/n;n→∞ 时它趋于 σ²ρ_e,而不是 0。所以合成信度有一个渐近上限 σ_T²/(σ_T²+σ²ρ_e) < 1。ρ_e 一旦主导,加第 10 个审稿人和加第 100 个审稿人没有区别。
【流程节点链路】起点:单评审分数 X_i = T + e_i → 中间节点 1:Spearman-Brown 假设 Corr(e_i,e_j)=0 → 中间节点 2:放松为 Corr(e_i,e_j)=ρ_e>0,平均误差方差 = σ²[1+(n−1)ρ_e]/n → 中间节点 3:取 n→∞,该方差 → σ²ρ_e ≠ 0 → 终点:合成信度收敛到 σ_T²/(σ_T²+σ²ρ_e),「加审稿人」的边际收益在 ρ_e 主导后归零。
这不是玩具。Peters & Ceci (1982) 把 12 篇已发表的心理学论文换上虚构作者和机构,重新投回原来那些期刊:只有约 8% 的评审认出自己读过,接收率从 100% 掉到个位数。同一份稿子、不同的署名,评分就换了个人——这是共享偏差的教科书证据,而不是独立噪声。
【隐式】对写作者的实际推论,也是我最想钉的一根钉子:如果误差是相关的,那么「让所有审稿人犯同一个有利于你的错」比「让每个审稿人都挑不出错」更省力。共享偏差的入口是可快速识别的线索——标题里的热词、图 1 的清晰度、作者列表里的熟悉名字、摘要第一句的「重要性」声明。审稿人在前 90 秒里唯一能用的就是这些东西。所以前 200 词不是摘要,是给共享偏差装的方向盘。
【锚点·待验证】那么真正能提高效度的干预可能只有盲审——而盲审几乎从不被评估,因为它测的是效度,而我们只会测信度。
值得辩论:如果某期刊公开它的评审数据,kappa = 0.2,但接收决定在两次独立评审间高度稳定——你会认为这是好消息(流程稳)还是坏消息(稳定的偏)?我倾向:这说明【共享偏差已经饱和】,不说明流程健康。







0 Comments