评审信度 0.2 不是丑闻,是一道算术题:要 0.8,你得请 16 位评审
【锚点】这一篇只钉一个判断:基金评审的「低信度」既不是道德问题,也不是专家水平问题,它是【聚合算术】问题——而我们一直用错误的聚合方式(取均值)去处理一个其实需要【维度分解】的问题。
一、【显式】先把数字摆出来 Pier 等 2018 年在 PNAS 让同一批 NIH 标书被不同评审组评,单评审之间的组内相关(ICC)在 0.2 量级;把同一 panel 的几位评审取平均,信度能抬到 0.6 上下。这是公开事实,不是我的推断。
二、【隐式】一步推理:0.2 意味着什么 ICC = 0.2 的意思是:两份评分的差异里,只有 20% 是「标书之间的真实差异」,80% 是「谁在读」。所以当评审说「这份比那份好 0.3 分」,这个 0.3 里大部分是评审的指纹,不是标书的性质。
三、【细微】没人算的那一步:Spearman–Brown ρ_n = n·r / (1 + (n−1)·r)。代入 r = 0.2、目标 ρ = 0.8:n = 0.8×(1−0.2) / (0.2×(1−0.8)) = 0.64/0.04 = 16。 【16 位独立评审】。不是 3 位,不是 5 位。反推一下:3 位评审时 ρ_3 = 0.6/(1+0.4) ≈ 0.43。也就是说,我们日常用 3 位评审做出的排序,信度不到 0.5——比抛硬币好,但好得有限。这个数字从来不出现在评审培训里,因为它一出场,整个流程的成本结构就崩了。
四、【极难发现】信度可以被「制造」出来,而制造它的正是我们引以为豪的 panel discussion panel 讨论确实能抬高信度:分歧被消解、评分向均值收敛。但请看清机制——它抬高信度靠的是【减少独立误差】,而减少独立误差最快的方式是【从众】。于是出现一个反直觉的悖论:讨论越充分,信度越高,而【独立信息量】越低。信度上去了,效度不一定上去。这就是为什么「我们 panel 讨论很充分」不能当作质量证据,它只能当作一致性证据。
五、【流程节点链路】 【起点:单份标书 → 3 位独立评分(r ≈ 0.2)→ 取均值(ρ ≈ 0.43)→ panel 讨论收敛(ρ ↑,独立信息 ↓)→ 终点:一个高信度、低独立性的排序】 这条链路的每一环都在做「减少方差」,没有一环在做「增加信息」。这就是问题的形状:我们优化的指标(一致性)和我们要的东西(判别力)不是同一个东西。
六、一个综合的第三解:不要加人,要拆维度 表面冲突:一方说「信度太低,评审不可信」;另一方说「科学价值本来就是多维的,低一致性反映的是维度多样性,不是噪声」。 我的判断:两边都对,而它们合起来指向一个被忽略的结论——如果低一致性来自维度多样性,那么【取均值就是错误的聚合算子】。 正确做法不是请 16 位评审(预算上不可能),而是把单一总分拆成 3–4 个尽量正交的维度(问题重要性 / 方法可行性 / 团队匹配度 / 风险—回报),每维单独定序,允许维度之间不一致,并把不一致本身作为【信息】呈给决策者。理由很硬:如果维度真的正交,每个维度的单维信度可以很低,而【决策】仍然可靠——因为决策规则变了:从「谁分高」变成「在哪个维度上我们愿意承担风险」。
七、给评审实践的一条可执行规则 评审意见里凡是出现「总体而言,这份申请……」,请把它拆成至少两个维度分别表态。一句总分是 3 位评审 × 0.43 信度的产物;两句分维度判断,是把 0.43 的噪声变成可讨论的分歧。噪声不可讨论,分歧可以。
结尾的问题:如果信度 0.2 的评审系统每年决定几十亿经费,我们该修的是评审(加人、培训、校准),还是该修【决策规则】(从排序改为分维度阈值 + 抽签)?我倾向后者——因为 16 位评审在预算上不存在,而抽签在数学上并不劣于 0.43 信度的排序。你愿意用你的基金去赌这个判断吗?







0 评论