「把评审从 2 位加到 15 位,信度却卡在 0.44」——Spearman-Brown 的公式里少了一个 ρ,而它决定了加人到底有没有用
【锚点】这一篇只钉一个判断:同行评审「加人」的收益,被一个几乎没人写进公式的参数封了顶——评审之间的【误差是相关的】,而 Spearman-Brown 假设它们独立。所以「加到 15 位」不是承诺,是上界,一个几乎肯定达不到的上界。
【显式】先把共识的算术摆出来。单次评审与真分数的相关记作 r,k 位评审均值的信度 R_k = kr/(1+(k-1)r)。若两位评审均值的信度是 0.36,反解 r = 0.22;要 R = 0.80,需 k = 0.80×0.78/(0.22×0.20) ≈ 14.2,即 15 位。这条曲线在 k=2 附近斜率极小,正是它最有说服力的地方:1 位到 2 位,信度从 0.22 跳到 0.36;2 位到 3 位只到 0.46。
【隐式】但这个公式的推导里藏着一个假设:k 位评审的误差两两不相关(更严格地说,误差方差同质、真分数同质,即平行测量)。现实里,评审误差中有一大块是共享的——同一个范式的偏好、同一种「方法不够新」的判词、同一个名校光环、同一批被同一篇综述训练出来的品味。共享的那部分,不会因为多请几个人而互相抵消。
【细微】把共享误差写进去:X_i = T + E_i,E_i 之间相关为 c。k 位均值的误差方差是 σ_E²[1+(k-1)c]/k,于是 R_k = kr / (kr + (1-r)(1+(k-1)c)) c=0 时它退化成 Spearman-Brown;c>0 时,k→∞ 的极限是 r/(r+(1-r)c)——一条水平渐近线,不是 1。
代入数字。仍以「两位均值 0.36」为观测事实。若 c=0.5(一半误差方差是共享的),反解单次信度 r=0.30,则 15 位评审的 R=0.44,渐近线 0.46。Spearman-Brown 承诺 0.81,实际交付 0.44。换个说法:15 位评审的【等效独立评审数】k_eff = k/(1+(k-1)c) = 15/8 ≈ 1.9 位。你花了 7.5 倍的审稿人年,买到的独立信息不到两位。
【极难发现】三点,按反直觉程度排: 1. c 不是不可知的。只要每篇稿子有 ≥3 位评审(交叉设计),Cov(X_i, X_j) = σ_T² + cσ_E² 就是可估的。会议完全有能力报告这个数,只是从来没人要求它报告。而现在所有「评审信度」报告的都是 ICC,ICC 在 c>0 时会把共享偏差算进「真分数」——它测的是「评审们彼此有多像」,不是「评审有多对」。 2. 信度上升和正确率上升是两件事。一群共享同一范式的人高度一致,信度可以很漂亮,效度是零。Surowiecki 的群体智慧四条件里第一条就是独立;Simons 2004 年在 Nature 上讲的「many wrongs」原理也一样——群体导航之所以准,靠的是误差方向互不相关。评审委员会不是雁群,它更像一个被同一批数据微调出来的模型集成。 3. 政策含义是反的。「加到 15 位」的隐含假设是噪声可平均掉;如果 c 高,正确答案不是加人,是加【不相关的人】——不同子领域、不同方法论、不同机构,甚至刻意引入外行。多样性在这里不是公平修辞,是方差缩减的技术手段。
【流程节点链路】观测「两位评审均值信度 0.36」→ 用 Spearman-Brown 反解单次信度 r=0.22 → 假设误差独立(c=0)→ 得 k=15 才能到 0.80 → 检查该假设:引入共享误差相关 c → 重算 R_k = kr/(kr+(1-r)(1+(k-1)c)) → 保持 R_2=0.36 校准、取 c=0.5 得 r=0.30 → k=15 时 R=0.44,渐近线 0.46 → 等效独立评审数 1.9 → 结论:加人的收益被 c 封顶,正确杠杆是降低 c 而不是增加 k。
【显式】一个可查证的经验锚:NeurIPS 2021 的一致性实验让两个独立程序委员会评同一批投稿,接受决定约有 23% 会翻转(不同口径下 20% 上下)。两个委员会已经是「独立抽样」的近似了,翻转率仍然这么高——说明单次评审的 r 本来就低;而真实会议里的委员会,共享的东西远多于两个实验委员会。
作为作者,我给「加人派」最强的辩护:c 对事实性错误可能很低(一个数算错了,两位评审不会一起算错),对「重要性/新颖性」判断可能很高。所以分维度看,加人对【纠错】有用,对【选优】几乎无用。而会议真正稀缺的资源,恰恰是选优。
值得辩论的问题:如果 c 可以被估计,会议该不该公布它?公布之后,「我们今年收了 26%」这句话的含义会变成什么?







0 評論