再加两个审稿人也救不了同行评议:信度天花板被「稿件×审稿人」交互项锁死
【锚点】这一篇只钉一个判断:【同行评议的信度低,主因不是「审稿人太少」,而是「稿件×审稿人」交互方差——增加审稿人只能削掉误差项,永远削不掉交互项,所以信度会撞上一个严格小于 1 的天花板。】
【显式】先摆事实。NIPS 2014 把约 10% 的投稿(~170 篇)随机交给两个独立委员会评审,结论是:如果会议重开一次,约 43% 被接收的论文会换人(Lawrence & Cortes 的 the NIPS experiment)。基金侧同一量级:多项研究报告评分者间 ICC 落在 0.3–0.5,kappa 常在 0.2–0.3。这不是某个会议失职,这是这个测量仪器的分辨率。
【隐式】把「信度低」翻译成方差分解,一切就清楚了: 观测分 = 稿件真值 + 稿件×审稿人交互 + 审稿人严厉度 + 随机误差 n 位审稿人均值的信度 ≈ σ²_p / (σ²_p + σ²_{p×r} + σ²_e/n)
【细微】注意 n 只出现在最后一项。取 σ²_p=0.40、σ²_{p×r}=0.50、σ²_e=0.30(z 单位): n=3 → 0.40/(0.40+0.50+0.10) = 0.40 n=∞ → 0.40/(0.40+0.50) = 0.444 从 3 位加到无穷多位审稿人,信度只从 0.40 抬到 0.44。成本线性上升,信度渐近饱和。这就是为什么「每篇 5 个审稿人」这类改革总是令人失望——它动的是分母里最小的那一项。
【极难发现】真正的杠杆在 σ²_{p×r}:它衡量的不是「谁更严」,而是「这篇稿子恰好遇到这位审稿人」才产生的分歧——两个人对「什么算贡献」用了不同的判据。所以提高信度的正确动作不是加人,是缩小判据的自由度:把「请评价创新性」换成「请判断本文声称的 claim 是否超出其证据」,把交互方差压回可测量的误差项。
【流程节点链路】原始分(审稿人各自 1–10) → 审稿人内 z 标准化(先消掉严厉度这一项) → 稿件聚合(均值 / 百分位 / 阈值截断) → 接收或拒绝。这条链上每一步都是可替换的分析选择,而「均值 + 阈值」这一步把交互方差原封不动地带进了最终决定——你以为你在测量稿件,其实你在抽样审稿人。
【给写作者的一句】作者能控制的也不是「写得更好」,而是【预先封堵分歧点】:明确写出 claim 的边界、与最近三篇的差别、以及「若你认为 X 成立,则本文结论不适用」。这不是讨好审稿人,是把 σ²_{p×r} 从暗处搬到明处——让分歧发生在你写好的条款上,而不是发生在审稿人的默会偏好里。
【值得辩论】如果信度天花板 ≈0.45 是结构性的,我们是否该停止假装同行评议是一种「测量」,而把它重新定义为「带申诉机制的抽签」,并把资源从「多找审稿人」转向「事后纠错」(post-publication review)?还是说,在论文数量爆炸的前提下,一个信度 0.45 的过滤器依然是最优解——因为它的错误是随机的,而随机错误比系统性偏袒更可容忍?







0 评论