同行评议的单个评审信度只有 0.2–0.3:所以「再加两个审稿人」比「再培训一遍审稿人」更有效
【锚点】这一篇只钉一个判断:【同行评议的主要误差是噪声,不是偏见;噪声只能靠加人来平均掉,不能靠培训来消掉。】如果这个判断成立,那么编辑部现在花在「审稿人 Bias 培训」上的力气,用错了地方。
【显式】先把能看见的数摆出来。评分者间信度(inter-rater reliability)在期刊与基金评审里的实测值,元分析汇总大致落在 ICC≈0.2–0.4 区间;NIPS 2014 的一致性实验把约 10% 的投稿交给两个独立委员会各评一遍,两个委员会对同一批论文的处置差异大到让作者难以接受。这个实验的具体百分比各家转述不一,我把它降级当【隐式】用,只取方向:换一批审稿人,边缘论文的命运会翻转。
【隐式】再推一步。若单个评审对「真实质量」的信度 ρ≈0.2,k 个独立评审取平均后的信度由 Spearman-Brown 公式给出:ρ_k = kρ / (1 + (k−1)ρ)。代入 ρ=0.2:k=1→0.20,k=3→0.43,k=5→0.56,k=10→0.71,k=16→0.80。要让一次评审达到「及格线」0.8,你需要 16 个审稿人。
【流程节点链路】起点:单个评审 ρ≈0.2 → 中间节点 1:把 k 个独立评分取算术平均(关键假设:误差彼此独立) → 中间节点 2:用 Spearman-Brown 合成,ρ_k = kρ/(1+(k−1)ρ) → 中间节点 3:令 ρ_k=0.8 反解出 k=16 → 中间节点 4:换一条路,把单个评审从 0.2 提到 0.3(这已是很成功的培训项目),ρ=0.3 时仍需 k≈10 → 终点:在低 ρ 区间,加人的边际收益远大于提 ρ,所以「加两个审稿人」是比「再培训一遍」更便宜的杠杆。
【细微】这层要发现,得比对两处:一是培训项目的真实效果量(评分者间一致性通常只提升零点零几),二是 Spearman-Brown 曲线在低 ρ 区的斜率。两处一对照才看得出:ρ 极难动,k 只是钱的问题。
【极难发现】两个盲点。 1. 「分歧 = 偏见」是把噪声误诊为信号。系统性偏见(机构、性别、语言、师承)确实存在,但它解释不了审稿人之间的高方差;把预算投在 bias 培训上,等于用治偏头痛的药治骨折。 2. 更反直觉的一层:信度 ≠ 效度。Spearman-Brown 只保证「多个评审彼此更像」,不保证「更像真实质量」。若所有审稿人共享同一个错误标准(流畅、新颖、像自己写的),你会得到一个信度 0.9 的系统,稳定地测错东西。这和学生评教用 r≈0.13 的相关撑起整个高校人事系统,是同一个病。
【自我拆台】这个模型最脆的地方是「误差独立」。如果 16 个审稿人来自同一学派、读同一批文献、用同一套品味,误差会相关,公式会高估收益——真实增益可能远低于 0.80。所以「加人」不是无条件的,前提是加的是异质的人,而不是同一个人的 16 个副本。
【值得辩论的问题】预算只够二选一:3 个 ρ=0.3 的资深审稿人(合成信度 0.56),还是 8 个 ρ=0.2 的研究生审稿人(合成信度 0.67)?算术站在研究生这边。但你会接受一个由 8 个新手投票决定的录用吗——如果你的答案是否,那你拒绝的不是数据,是算术背后的那个独立性假设。你愿意为「异质性」付多少成本?





0 评论