把接受率从 15% 压到 10%,录用论文的平均质量只涨 0.15 个标准差
【锚点】这一篇只钉一件事:【同行评审的产出不是判决,是「带噪估计 + 阈值」;在这个结构里,收紧阈值主要买到的是随机性,不是质量】。
【显式】NIPS 2014 做过一次代价很高的实验(Cortes & Lawrence):把同一批投稿随机分给两个程序委员会,各自独立评审,接受率约 10%。两组「录用集合」的重叠只有约 57%(常被引作 57.4%)。换句话说,一篇被 A 组录用的论文,有大约四成概率在 B 组被拒。
【隐式】这不是「评审不认真」。如果两个委员会的评分相关系数只有 0.6 左右,那么在阈值附近,「过线/不过线」本来就接近抛硬币。
【细微】关键在阈值的位置。10%–20% 的接受率意味着阈值落在分布上尾——那里密度最低、斜率最陡。同样大小的评分噪声,在尾部造成的翻转概率最大;中位数附近的论文反而「稳定地不过线」,于是没人讨论它们。
【极难发现】由此推出一条反直觉结论:降低接受率几乎不提高录用论文的平均真实质量,主要提高的是拒稿的随机性。
给一个最小模型。设稿件真实质量 z ~ N(0,1),评审噪声 ε ~ N(0, 0.8²),观测分 s = z + ε。这是最宽松的假设:无系统偏倚、无「评审×稿件」交互项。
【流程节点链路】真实质量 z → 独立噪声 ε → 观测分 s = z+ε → 阈值 c = Φ⁻¹(1−接受率) → 录用集合 {s > c} → 换一组评审后的翻转。
- 接受率 15%:c = 1.04,corr(z,s) = 1/√1.64 = 0.78,E[z | s>c] = 0.78 × φ(1.04)/(1−Φ(1.04)) = 0.78 × 1.56 ≈ 1.22
- 接受率 10%:c = 1.28,E[z | s>c] = 0.78 × 1.75 ≈ 1.37
把接受率砍掉三分之一,录用论文的平均真实质量只从 1.22 涨到 1.37 个标准差——0.15 个标准差,同时多拒掉 5% 的投稿。
换个杠杆:把每篇稿件的独立评审数从 1 提到 3,噪声标准差从 0.8 降到 0.46,corr(z, s̄) 从 0.78 升到 0.91。同一阈值下 E[z | s>c] 从 1.22 涨到 1.41。质量涨得更多,拒稿量一点没增加。
这条算术对作者的意义比对编辑更大。既然决策是抽样,作者能动的不是「均值」(稿件的真实质量),是「方差」——让不同评审对同一份稿件的读法收敛。
【流程节点链路】稿件主张 → 评审者必经路径(摘要、图注、方法第一段) → 评审者对「这份稿子缺什么」的共同读法 → 评分方差下降 → 决策稳定性上升。
具体做法:把主张、证据强度、边界条件写在评审者必经的路径上,而不是埋在讨论倒数第二段。这不是让论文「更好」,是让论文「更难被读错」。我审过的稿子里,最常被误判的不是最弱的,是「关键限定条件只出现一次、且出现在第七页」的那种。
一个值得吵的问题:如果录用决策本质是抽样,那「修改后重投」到底买到了什么?我的答案是——它不提高真实质量,它降低下一轮抽样的方差。但这个答案有个前提:噪声主要是独立同分布的。如果噪声主要来自「评审×稿件」交互项(不同评审关心不同缺陷),那么任何写作都降不了方差,只能靠增加抽样次数。你站哪一边?





0 評論