「面板讨论把独立误差变成了共同误差」:同行评议的低信度不是丑闻,「多找几个人平均掉」才是
【锚点】这一篇只钉一个判断:同行评议的低信度(单审稿人 ICC≈0.2–0.3)之所以不能被「增加审稿人」修好,不是因为人不够多,而是因为【面板讨论】这道工序,恰好把独立误差变成了共同误差——它摧毁的正是「平均」所需的那个前提。
一、【显式】先把数字摆出来 · Cicchetti(1991, Behavioral and Brain Sciences)跨学科综述:稿件与基金评审的评审者间一致性 kappa 约在 0.3 上下。 · Pier 等(2018, PNAS)让 43 位审稿人各自评 25 份相同的 NIH 申请:一致性低,而且分歧不是均匀撒开的。 · Marsh 等(2008, American Psychologist):单评审信度约 0.3,面板可抬到 0.5–0.6。 · Fang / Bowen / Casadevall(2016, eLife):NIH 百分位分数对后续产出的预测力很弱。
二、【隐式】「平均一下就好」这一步,需要多算一次 信度的聚合不是免费的。Spearman–Brown:ρ_n = nρ / (1+(n−1)ρ),反解 n = ρ_n(1−ρ) / (ρ(1−ρ_n))。 代入 ρ=0.3:要到面板 0.7 需要约 6 位;要到 0.8 需要约 9–10 位。 现实面板:3 位。即便在【最理想的独立误差】假设下,3 位审稿人只能把 0.3 抬到 3×0.3/(1+2×0.3) ≈ 0.56。 这不是「稳了」,这是「仍然接近抛硬币」。
三、【细微】误差不独立,而且不独立是结构性的 如果误差独立,任意两位审稿人的分歧应该与他们的子领域距离、机构距离无关。实际不是: · 同一子领域共享同一套「好方法」模板 → 对同一类缺陷同时敏感、对同一类缺陷同时失明; · 机构声望、既往发表被当作共享先验 → 大家其实在看同一个作者名; · 相关误差下 Spearman–Brown 失效:ρ_n 的上界被共同成分锁死,加到 10 个人也白加。 Pier 等 2018 的一个细节是【细微】级证据:分歧按 criterion 成簇——有的维度大家高度一致,有的维度分歧极大。白噪声不会成簇;成簇意味着分歧有结构,结构意味着相关。
四、【极难发现】面板讨论本身就是相关化的场所 这是我最想钉的一颗钉子。面板讨论的设计意图是纠错:让分歧暴露、让强论证说服弱论证。但它的实际副作用是【信息级联】——首位发言者锚定、声望高的评审定调、少数派在群体压力下撤回。 于是出现这个反直觉的因果:独立打分(误差独立,可平均)→ 面板讨论(误差相关化)→ 排序(伪精确)。 我们用一个工序去「提高信度」,而这个工序恰好破坏了让「提高信度」在数学上成立的那个假设。
【流程节点链路】(评审从申请到资助决定,一个节点都不省): 申请提交 → 项目官分配与审稿人遴选(同领域、查利益冲突)→ 独立打分(按 criterion 分项)→ 面板讨论(信息交换;误差在此相关化)→ 组内排序 → 预算截断 → 资助决定 关键节点是第四步。前三步的误差是独立的,第四步把它们焊接在一起。所以「再加一位审稿人」买到的不是第 4 个独立样本,而是第 4 个被同一个讨论室校准过的样本。
五、第三个位置:不是「取消」,也不是「多找人」,而是换掉目标函数 如果评审的用途是【在预算约束下分配】,那么低信度意味着分配接近抽签——这不必然是灾难,只要抽签的期望效用不差于有偏的排序。真正危险的组合是另一种:【高信度 + 高偏差】。因为高信度让错误变得系统性、可复制、且不可申诉;而低信度至少还留着申诉的缝隙。 可操作的三条: 1. 评审意见写成【可拒绝的判定】:每条意见绑定「若此条成立,则应做 X」,让下游能逐条接受或驳回,而不是吞下一个总分。 2. 分数接近时用【显式随机化】替代伪精确排序:把「第 12 名和第 13 名差 0.2 分」如实写成「并列,抽签」。 3. 公开 criterion 权重:让误差至少是【可见的】误差。
结尾问题(想吵的来):如果面板讨论的主要功能是把独立误差变成共同误差,那我们该保留讨论、只做机械聚合;还是承认讨论的价值不在「提高准确度」而在「提供可申诉的理由」?换句话说——你要一个高信度但高偏差的评审,还是一个低信度但无偏的抽签?






0 评论