单个评审人的信度只有 0.2:为什么「再加两个审稿人」在数学上救不了同行评审
【锚点】这一篇只钉一个判断:【同行评审的主要误差不在「审稿人坏」,而在「单个审稿人作为测量仪器的信度太低」;而低信度不能靠「多找几个人」线性修补,它服从 Spearman–Brown 的衰减曲线。】
【显式】两个可核对的事实打底: · 2014 年 NIPS 把约 10% 的投稿随机交给两个独立的程序委员会重审,两个委员会对同一批论文的接收决定重合率约 57%(常被引述为:若把评审重跑一次,约一半被接收的论文会被拒)。 · 心理测量学上,同行评议的评分者信度(ICC)通常落在 0.2–0.3:Cicchetti 1991 年在 Behavioral and Brain Sciences 上对稿件与基金评审做的跨学科调查、以及 Bornmann 等人的信度泛化研究,都指向这个量级。
【隐式】0.2–0.3 的真正含义不是「评审有点主观」,而是:单个评审人解释的论文质量方差不到 10%。剩下九成来自评审人×论文的交互、领域匹配误差、当天的状态。也就是说,你收到的那句「方法有创新但论证不足」,主要不是关于你的论文的,而是关于那次测量的。
【流程节点链路】投稿(起点)→ 编辑按关键词与引用关系匹配 1–3 位审稿人(中间节点 1)→ 每位审稿人独立形成一个整体印象分数(中间节点 2)→ 编辑取平均或看「有无致命伤」(中间节点 3)→ 接收/拒稿(终点)。这条链上,节点 2 是唯一的测量动作,而它的信度只有 0.2;节点 3 的算术无法创造节点 2 从未采集到的信息。
【细微】把 Spearman–Brown 预言公式代进去:ρ_k = kρ / (1 + (k−1)ρ),取 ρ = 0.2: · 2 位 → 0.33 · 3 位 → 0.43 · 5 位 → 0.56 · 10 位 → 0.71 · 16 位 → 0.80 要到 0.8 这个「勉强可接受」的信度,需要 16 位独立审稿人;ρ = 0.3 时也要 10 位。这就是「再加两个审稿人」在直觉上对、在数学上几乎无效的原因:前两位贡献了大部分增益,之后每加一位的边际收益按 1/k² 量级衰减。
【极难发现】由此有个反直觉推论:「评审意见变好」和「接收决定变准」是可以脱钩的两件事。 让审稿人写更长的意见、给更细的理由,会提高意见的可用性,却几乎不提高分数的信度——因为噪声来自「整体印象」这个测量构念本身,而不是来自表达不清。这解释了为什么几十年「评审表格改版」的经验研究,大多找不到决定准确性的改善。
【隐式】那什么能提高信度?心理测量学的标准答案是:把构念拆细。整体判断(holistic)信度最低;分解到具体准则(criterion-referenced)时,评分者一致性明显更高,因为每个判断的对象变小、更可核查。但必须诚实承认代价——
【锚点】第三条路既不是「更多评审人」,也不是「更好的评审表格」,而是【把判断任务从「打分」换成「找出一条你无法核实的声明」】。
【细微】这里是那个隐藏张力:相信「多审稿人」的人相信聚合能消噪;相信「专家整体判断」的人相信分解会丢掉品味。两者各对一半——聚合在低信度仪器上无效,分解在构念效度差时会变成「用精确的尺子量错的东西」。而验证任务绕开了这个两难:它不问「这篇好不好」(低信度、高争议),而问「这个数字、这条引用、这个对照,你能不能在三分钟内核实」(高信度、低争议,因为答案是二值的、可复现的)。
【流程节点链路】拿到一篇稿(起点)→ 抽取 3 条最承重的经验性声明(中间节点 1)→ 对每条定位其数据来源、对照与统计口径(中间节点 2)→ 标注「可核实 / 不可核实 / 核实为假」(中间节点 3)→ 把不可核实清单交回作者(终点)。这条链的输出不是分数,而是一份【负空间清单】;它的信度天然高于任何整体评分,因为两个独立的人对「这条引用是否支持这句话」的分歧,远小于对「这篇论文是否重要」的分歧。
【显式】给写作者的三条可操作含义(这是 academic-writing 的部分):既然你的稿子大概率落在 1–3 台 ρ≈0.2 的仪器上,写作目标就不该是「让审稿人觉得好」,而是「降低审稿人核实的成本」。 1. 每节开头用一句话写出本节要证明的【承重声明】,让审稿人知道该核实什么。 2. 把限制条件写在它所保护的那条声明旁边,而不是堆到讨论末尾——位置是论证的一部分。 3. 凡是能被三分钟核实的东西(样本量、对照、统计口径、引用页码),给出可核实的坐标;凡是不能的,明说它依赖哪个假设。
【隐式】最后一句值得单独说:这不是「讨好审稿人」。在低信度系统里,作者唯一能控制的变量是【核实成本】。把它降下来,等于把论文从「噪声主导」的区域搬到「信号主导」的区域——不是因为审稿人变聪明了,而是因为你把测量对象从品味换成了事实。
值得辩论的问题:如果单个评审人的信度只有 0.2,我们是否应该停止把「接收/拒稿」当作对论文质量的测量,把它降级为一个行政决策,并把真正的质量信号交给可累积、可复核的公开验证(复现、代码、发表后的实际使用)?还是说,「低信度但高合法性」的同行评审本来就是一种政治装置,我们根本不该用心理测量学的标准去要求它?






0 Comments