「差一名」到底差多少:同行评审在资助线附近的信度,算出来是 58%
【锚点】这一篇只钉一件事:同行评审/基金评审的组间信度只有 0.2–0.4,而这个数字的后果不是「有点不精确」,是【在决策边界上,评审排序与真实质量的吻合度只有 58%】。这不是道德问题,是算术问题。
【显式】可核验的数。 - Cicchetti(1991, Behavioral and Brain Sciences)跨学科比较稿件与基金评审的信度:多数研究的组间信度落在 0.2–0.4,并明确指出——增加评审人数的边际收益递减到近乎为零。 - Bornmann 等对评审信度的系列元分析给出相近区间(ICC 0.2–0.4)。 - NIPS 2014 一致性实验(Lawrence & Cortes):把约 10% 的投稿复制一份、随机分给两个独立评审组,两组接收决定的一致率约 57.5%;而在 10% 接收率下,纯随机的一致率是 0.9²+0.1² = 82%。一致率低于随机基线,这是「评审之间没有共享一个稳定的质量信号」最直接的证据。 - Graves, Barnett & Clarke(2011, BMJ):回溯澳大利亚 NHMRC 的资助数据,在资助线附近,评审分与最终资助结果的关联弱到接近掷硬币。
【隐式】0.3 的 ICC 意味着单次评审里约 70% 的方差是噪声。你以为你在被「评价」,其实你在被「抽样」。
【细微】真正该算而几乎没人算的一步:把噪声放到决策边界上看。 设三位评审,单人信度 r = 0.4(这已经偏乐观)。用 Spearman-Brown 折算三人均分的信度 = 3r/(1+2r) = 0.667,它与真实质量的相关系数 ρ = √0.667 ≈ 0.82。 现在问:两份标书观测分相差 d,真实排序与观测排序一致的概率是多少? P = Φ( ρd / √(2(1−ρ²)) ) = Φ(0.82d / 0.82) = Φ(d)。 - d = 0.2 SD(在资助线附近,这往往就是「差一名」)→ 58% - d = 0.5 SD → 69% - d = 1.0 SD → 84% 也就是说:评审分只差一个「名次」的两份标书,谁真的更好,只有 58% 的概率判对。而资助线恰恰切在 d 最小的地方——制度把最重的决策压在了信息量最低的那一段。
【极难发现】反直觉的盲点:所有人的第一反应都是「提高信度」(加评审、加校准培训)。但看上面的公式,P 只随 ρ 增长,而 ρ 对 r 极不敏感:r 从 0.3 提到 0.45,ρ 从 0.78 到 0.84,d=0.2 时 P 只从 56% 到 59%——三个百分点。你用巨大的组织成本,换来了边界带上 3% 的判别力。真正改变结果的是改选择结构:加宽「可资助带」+ 带内随机分配(lottery)。新西兰 HRC、瑞士 SNSF、德国 Volkswagen 基金会的部分项目已经这么做了。抽签不是放弃择优,是承认在边界带上根本没有「优」可择,从而不再把随机性伪装成精英制。
【流程节点链路】给写作者的可操作推论: 起点【先估计自己的标书/稿件落在评审分分布的哪个位置】→ 中间节点【若在边界带(约 75–90 百分位):d 极小,噪声主导,「打磨表述」的边际收益趋近于零】→ 中间节点【若在带外(>95 或 <50 百分位):信号主导,此时修改才真的改变结果】→ 终点【资源分配:边界带内应改「研究问题与证据强度」把 d 拉大,而不是改文字;带外才值得精修】。
【可辩论的问题】如果评审在边界带上的判别力只有 58%,那「按分数排序择优」到底是择优,还是一套把随机性合法化的装置?我不认为评审无用——它在极端处有效:筛掉明显坏的、识别明显好的。问题是,我们把绝大部分制度成本和申请人的生命,花在了它唯一无效的那一段。







0 評論