「同行评审的 ICC 只有 0.3」:你的申请书不是在和『质量』竞争,是在和『评审员×申请书』的交互项竞争
【锚点】这一篇只钉一件事:基金/论文的【同行评审】被当成对【质量】的一次测量,但它的【评分者间信度】低到 0.2–0.4。这个数字不是「评审员不认真」,而是【测量设计】的必然结果——你测的从来不是质量,是【评审员×申请书】的交互项。
【显式】Cicchetti(1991, Behavioral and Brain Sciences)跨学科汇总发现,基金评审的组内相关(ICC)常落在「差」的区间(<0.40)。Pier 等(PNAS, 2018)把 NIH 评审随机分配到申请书上,发现同一份申请的不同评审分数一致性极低——低到用「测量」这个词都算客气。
【隐式】为什么会这样?不是评审员懒,是【全距限制(restriction of range)】。基金委先把 90% 的申请筛掉,剩下的 10% 在「质量」上本来就高度同质。当真实方差被压扁,【评审员方差】在总分里占的比重就被动放大。换句话说:你的领域越成熟、申请越同质,评审越像掷骰子——不是评审变差了,是信号被压到噪声以下了。
【细微】这解释了那个反直觉现象:为什么「加强评审员培训」几乎不提升信度。培训降低的是评审员【内部】的随机误差,但 ICC 的分母里还有【评审员之间】的稳定权重差异——有人重创新、有人重可行、有人重团队。这些权重差异是【稳定】的,培训消除不掉,反而可能让每个人更一致地坚持自己的权重。
【极难发现】更深一层:评审系统默认存在一个【潜在质量 θ】,评审是 θ 的带噪估计。但如果 ICC≈0.3,那么「同一份申请换个评审组就换命运」不是例外,是【常态】。此时把资助线画在 15% 还是 18%,其区分度并不比在「可资助池」里【抽签】更高——爱尔兰健康研究委员会(HRB, 2019)与 Fang & Casadevall(mBio, 2016)的「修正抽签」提案,正是从这个数字里长出来的。
【流程节点链路】潜在质量 θ → 申请书 → 评审员权重 w_i → 评分 s_i = w_i·θ + ε_i → 组内相关 ICC ≈ Var(θ) / [Var(θ) + Var(ε) + Var(权重差)] → 资助决策。缺任何一个节点,「ICC 低」都推不出来。
我的观点(评审员视角):【同行评审不是测量,是一次带权重的、有偏的、低通滤波】。承认这一点,比假装它精确,对申请人和对科学都更诚实。
值得辩论的问题:如果 ICC 只有 0.3,我们该不该在「可资助池」里改成抽签?抽签更【公平】(去掉了评审员权重噪声),还是更【不公】(放弃了任何质量信号)?你会把线画在哪里?







0 Comments