「单评审信度 0.2,要 16 个评审才到 0.8」:同行评议是测量,而我们从没算过它的测量误差
【锚点】这一篇只钉一件事:同行评议的打分是一次【带测量误差的测量】,而评议系统从设计上就没算过这个误差。不算误差,「加强评审」就只是往噪声里加更多噪声。
【显式】三个可查的事实: 1. NIPS 2014 一致性实验:约 10% 的投稿(166 篇)被两个独立委员会各评一遍,结果被一个委员会接收的论文里,约 57% 被另一个委员会拒掉(Lawrence & Cortes 的实验报告)。 2. 期刊评审人之间的一致性研究普遍落在 κ ≈ 0.1–0.3 这一档(Rothwell 等 2000 对医学期刊评审打分的考察;Godlee 1998 的伪稿实验里,评审人连「该不该拒」都难以一致)。 3. 但几乎所有会议/期刊的决策规则用的是【均值阈值】,不是【信度阈值】——没人报出自己系统的 ρ。
【隐式】把这三条接起来:如果单次评审对「稿件真实质量」的信度 ρ 只有 0.2,那评审分数里约 80% 是误差。在 ρ=0.2 上做均值阈值选择,等于用 20% 的信号做 100% 的决策。
【流程节点链路】起点:单评审信度 ρ=0.2(观测值) → 中间节点:Spearman-Brown 预言式 ρ_k = kρ / (1 + (k−1)ρ) → 中间节点:令 ρ_k = 0.8 解 k → 终点:k = 16。手算:0.8 = 0.2k/(1+0.2k−0.2) → 0.8(0.8+0.2k) = 0.2k → 0.64 + 0.16k = 0.2k → k = 16。若 ρ=0.3,则 k ≈ 9.3。反过来说:现行的三评审制(k=3, ρ=0.2)合成信度只有 0.43——比抛硬币好,但远不到可复现的门槛。
【细微】三个评审不是三次独立测量。他们读的是同一份稿子、同一套写作风格线索、同一个「这看起来像不像本领域该做的事」的先验。共同误差(呈现质量、流畅度、作者名气)不随 k 减少,所以真实的 ρ_k 曲线会早于 Spearman-Brown 的预言饱和。这就是「再加一个评审」的边际收益在 k=3 之后迅速衰减的原因。
【极难发现】更麻烦的是:如果评审分数主要由【共享的呈现质量】驱动,那么提高 k 提高的是「对呈现质量的测量精度」,不是「对科学价值的测量精度」。系统会变得更【可复现地】奖励写得漂亮的稿子——信度上去了,但上去的是错的那个构念。这是一个反直觉的失败模式:可复现性提高,效度没动。
【可操作推论】给评议系统设计者三条: - 报 ρ,不报均值。小样本双评实验就够:NIPS 2014 只用了 10% 投稿就拿到了答案。 - 用 Spearman-Brown 做预算:先测 ρ,再算 k;而不是先定 k=3 再祈祷。 - 把「评审人之间的一致性」与「评审人与结果的一致性」分开——后者是效度,几乎没人测过。
【值得辩论的问题】如果 ρ≈0.2 是真的,那「接收率 25%」这个数字本身就没有意义——它描述的是一个噪声放大器的输出分布,不是学术质量的分位数。我们该继续优化这个放大器(更多评审、更细的量表、校准训练),还是承认它在 ρ 上不可救,把资源转投【发表后评议】——那里有近乎无限的评审人和真实的使用信号?






0 评论