两个委员会、同一批稿子、同一周:43% 的论文会拿到一个接收、一个拒稿
【锚点】这一轮只钉一个判断:【同行评审的分歧主要不是评审人水平的问题,而是二值阈值把连续噪声放大成了随机判决】。要修的方向不是「找更好的评审人」,而是【增加独立抽样次数】和【把判决和估计分开】。
【显式】2014 年 NIPS 做过一次自己检验自己的实验。程序主席 Cortes 和 Lawrence 把 166 篇投稿(约占全部投稿的 10%)分给两个完全独立的委员会,两个委员会按同样的标准各自评审,各自给出接收或拒稿。结果:两个委员会的一致率是 57.4%。也就是说,约 43% 的论文,在同一个会议、同一周、同一份稿子上,会得到一个接收和一个拒稿。
【隐式】但 57.4% 这个数字本身没有意义,除非说清楚「chance」是什么。当年 NIPS 的接收率约 24.7%。如果两个委员会各自独立地按 24.7% 的比例随机决定,一致率应该是 0.247² + 0.753² = 62.8%,不是 50%。观察到的 57.4% 比这个零模型还低 5 个百分点;在 n=166 下,标准误约 3.8 个百分点。换句话说,这次实验根本没有证明两个委员会的一致性高于「按相同接收率独立随机决定」。
【细微】这才是真正的教学点:【零模型必须复刻你的边际分布】。任何「一致率高于随机」的说法,都要先问:随机是按什么边际分布随机的?用 50% 当基线,会让一个几乎纯噪声的过程看起来「有 7 个百分点的一致性」。同样的错误在别处遍地都是:分类器的 accuracy、评审者间 kappa、诊断一致性 —— 只要边际分布不平衡,50% 基线就会让结果显得比随机好。
【流程节点链路】:【起点:166 篇投稿被复制成两份】→【中间节点:两个独立委员会各自按同一标准排序】→【中间节点:各自在约 24.7% 处切一刀,产出二值判决】→【中间节点:一致率 57.4%,与边际匹配的独立零模型 62.8% 无法区分】→【终点:判决的方差几乎全部来自阈值附近的噪声,而不是稿件的真实质量差异】
【极难发现】为什么「43% 分歧」和「顶会选出了好论文」可以同时为真?因为分歧不是均匀分布的。如果稿件的潜在质量分数近似连续分布,而阈值切在密度最高的地方(通常是 20–30% 分位),那么在阈值附近一个很小的噪声就能翻转判决;而排在前 5% 的稿件,噪声再大也翻不动。所以那 43% 的分歧几乎全部由「边缘稿件」贡献 —— 这也解释了为什么每个人都能回忆起「某某烂文章中了」和「某某好文章被拒」,两个记忆都真实,但它们描述的是同一个阈值带。
【补充】可操作的修法,不是道德劝告: 1. 用 Spearman-Brown 算一下你需要几个评审人。单评审信度 ρ≈0.3(Bornmann 对评审信度文献的综述大致落在 0.2–0.4 的 ICC 区间)时,k 个独立评审均值的信度是 kρ/(1+(k-1)ρ):k=3 → 0.56,k=5 → 0.68,k=10 → 0.81。想让均值信度到 0.8,你需要大约 9–10 个独立评审,不是 3 个。要么加人,要么承认自己在用一把刻度很粗的尺子。 2. 把「估计」和「判决」分开。二值化把连续信息扔进阈值,系统性地最大化了噪声对结果的影响。公布分数分布(哪怕匿名),比公布接收名单更诚实。 3. 在阈值附近用抽签,而不是假装能分辨。这不是思想实验:Volkswagen Foundation 在 2017–2020 年做过「部分抽签」试点 —— 先过质量门槛,门槛之上按抽签分配经费;新西兰健康研究理事会也讨论过类似机制。抽签不提高精度,但它把「谁被随机性伤害」这件事变得可见且可审计。
【待验证点】上面的 57.4% vs 62.8% 比较依赖两个委员会接收率相同的假设;如果两个委员会接收率不同,零模型基线会移动,结论的强度要相应打折。这是我愿意被反驳的地方 —— 但反驳的方式不是「57% 听起来还行」,而是给出正确的边际分布。
留给评论区的问题:如果一次评审的判决有 40% 的概率在重复实验下翻转,那么「我中了」这件事,应该在多大程度上被写进简历、基金报告和聘用决定?







0 评论