「同行评审信度只有 0.3」不是评审的属性,是你抽样的属性——全距限制与 392 个审稿人的算术
【锚点】这一篇只钉一个判断:文献里那句「同行评审的评分者信度只有 0.2–0.3」,说的不是评审这把尺子的属性,而是【你抽的那批稿子的离散程度】的属性。同一批评审、同一份量表,换一个更同质的样本,信度可以掉到 0.1;换一个更异质的样本,可以到 0.7。所以「评审不可靠」和「评审相当可靠」可以同时为真——取决于你在哪儿量的。
【显式】先把事实摆出来,因为它们本身没错: · Marsh、Bond & Jayasinghe (2007) 对澳大利亚 grant 评审的汇总:单评审 ICC 约 0.2–0.3。 · Cicchetti (1991) 对期刊稿件评审的综述:多数研究 ICC 落在 0.2–0.4。 · NIH 的「luck of the draw」研究(Fang、Bowen & Casadevall, 2016, PNAS)把同一批 R01 申请书随机分给不同评审小组,分数差异主要来自小组而非申请书本身。 引用这些数字的人通常停在「所以评审就是噪声」。这一步推理是对的,但停得太早。
【隐式】漏掉的那一步是:信度 = 真分数方差 /(真分数方差 + 误差方差)。分子、分母都是【方差】,而方差依赖样本的全距。审稿人没换、误差没变,只要把样本压窄,分子就塌下去,信度跟着塌。这就是【全距限制】(range restriction),心理测量学里一百年前就写清楚的东西。
【细微】算一遍就看见了。设某刊 1–7 分评审量表上,真实质量的 SD = 1.0,单个审稿人的误差 SD = 1.0。单评审信度 = 1²/(1²+1²) = 0.50。 现在只看「已过编辑初筛、被送审的那 30%」——差稿已被筛掉,剩下这批的真实质量 SD 只剩 0.35。同一个审稿人、同一个误差项:信度 = 0.35²/(0.35²+1²) = 0.109。 从 0.50 掉到 0.11。一个人没换,一份量表没换,只换了样本。这就是为什么不同论文报出的「同行评审信度」能差四倍——它们量的不是同一宽度的切片,却被当成同一个常数在互相引用。
【极难发现】真正该问的不是「信度多高」,而是【分辨力需求】:你要分开的两份稿子,真实差距是多少?送审稿之间在 7 分制上的真实差距,大约是 0.2 分(相邻排名)。要在 0.2 上做统计上可分辨的判断,用误差 SD = 1.0 的审稿人,需要多少个? n = 2 × ((z_α/2 + z_β) × σ / d)² = 2 × (2.8 × 1.0 / 0.2)² = 392。 三百九十二个审稿人,才能把「第 8 名」和「第 9 名」分开。三位审稿人给出的是 SE(mean) = 0.58、SE(diff) = 0.82——比要分辨的 0.2 大四倍。所以边际稿件的命运主要由噪声决定。这不是编辑懒,也不是审稿人坏,是算术。
【流程节点链路】真实质量分布 → 编辑初筛(截掉明显不合格者)→ 送审样本全距收窄 → 误差方差占比上升 → 单评审信度下降 → 三人均分的 SE(diff)=0.82 远大于需分辨的 0.2 → 相邻排名不可分辨 → 决策由随机性主导 → 结果被读成「评审不可靠」。一个节点都不能省:把「初筛」这一节点拿掉,整条链路不成立,信度也不会塌——这正是宽样本研究里 ICC 能报到 0.7 的原因。
【显式】对写作者的含义,这是我最想教的: 1. 你不需要说服「平均审稿人」,你需要让结论落在【误差地板之上】。噪声地板是固定的(σ≈1.0,n=3),唯一杠杆是把信号做大:效应量、预注册、可复现材料、一张读得懂的图。这些不是加分项,是把 d 从 0.2 推到 1.0 的唯一办法——d=1.0 时 3 位审稿人的 SE(diff)=0.82 才勉强够用。 2. 反过来,「三位审稿人一致同意」在边际稿件上是弱证据:一致可以由共享偏见产生(相关误差不随 n 缩小),也可以由全距限制下的随机一致产生。别把一致读成效度。 3. 评审意见里那句「我觉得贡献不够」,在 d=0.2 的世界里信息量接近零。要区分「审稿人没读懂」和「差距在噪声内」,只能看理由是否指向可核查的具体缺陷——这是作者唯一能操作的证据。
【锚点】所以别再引用「同行评审信度 0.3」当作对评审制度的判决书。它是一个关于【样本宽度】的陈述,被误读成了关于【仪器】的陈述。
留给各位辩论:如果边际稿件的决策在算术上不可能可靠,期刊应该(a)扩大送审样本的全距(少初筛、多送审),(b)承认并随机化(边际稿件抽签),还是(c)把决策从「排名」改成「阈值通过/不通过」,接受通过率而非精确性?我倾向 (c)。但 (a) 有个反直觉的代价:多送审会摊薄每份稿件的评审深度,误差 σ 上升,可能把刚挣来的全距又还回去。






0 Comments