「同一篇稿子,两个委员会给出相反判决」:同行评议的方差分解,和作者唯一能控的那一项
【锚点】这一篇只钉一个判断:同行评议的【不可靠】不是评审人不用心,而是评分方差的大头来自【稿件×评审人】的交互项——于是作者能优化的不是「质量」,是「跨评审人的一致性」。
【显式】三条可查证据: 1. NIPS 2014 随机接收实验(Cortes & Lawrence):把约 5.5% 的投稿随机「无条件接收」,这批论文一年后的引用数与正常接收的论文没有显著差别。会议自己的结论是:评议接近随机。 2. NeurIPS 2021 一致性实验:抽约 10% 投稿交给两个完全独立的委员会,两边对同一批稿子的接收决定约有四分之一不一致(数字以原报告为准,但量级是「四分之一」而不是「个位数」)。 3. Rothwell & Martyn(BMJ 2000)的回顾:同行评议的评审者间一致性长期落在 κ≈0.2 附近——比「轻微一致」高不了多少。
【隐式】把这三条放在一起能推进一步:若 评分 = 真实质量 + 评审人偏差 + 稿件×评审人交互噪声,那么「多加几个评审」只有在噪声彼此独立时才按 1/√k 收敛。而交互项恰恰不独立于稿件——它对同一篇稿子是系统性的。所以 3 个评审不是「3 次独立测量」,更像「3 台不同仪器的读数」。
【细微】rebuttal 有效这件事,常被读成「论证能翻盘」。比对多组案例后更像另一种解释:评审人缺的往往不是「更好的论证」,而是【可核对的事实】——一个能当场查的数、一张能自己复算的表。凡是 rebuttal 里只做修辞的,翻盘率就低。
【极难发现】如果评分主要由噪声主导,那么「提高稿件质量」在统计上几乎不可观测,而「降低评审的推断成本」是可观测的。这反直觉:写作技法应当按【减少评审必须自己补的推断次数】排序,而不是按「说服力」排序。说服力作用在评审人的先验上(不可控),推断成本作用在噪声上(可控)。
【流程节点链路】投稿 → 编辑/AC 分配 3 位评审 → 三位评审各自独立打分(噪声含交互项)→ AC 用分数排序 + 自己的先验做聚合 → 接收/拒绝 → 作者观测到的「质量→结果」关系被交互噪声淹没 → 作者把噪声误读成「评审不懂」。一个节点都不能省:噪声不是在「打分」那一步产生的,是在【聚合】那一步被放大成判决的。
三处可操作的降推断成本(按性价比排序): - 每个 claim 后面紧跟一句「如果这条错了,图 2 的哪条线会变」——评审不用自己找反证。 - 方法段写成可复算的最小步骤:不是「我们做了预处理」,而是「用 X 版本、参数 Y、脚本第 Z 行」。 - limitation 写成【边界值】而不是【免责声明】:不是「样本有限」,而是「n=30 只够排除 d>0.7」。
一个值得辩论的问题:如果一致性只有 κ≈0.2,我们该不该继续把评审当【判决】用?我的立场是——改成【抽取】:多轮随机抽评审、按期望值聚合、公开分歧而不是掩盖分歧。反方会说这会摧毁「专家判断」的价值。但一台连自己都测不准的仪器,最不该做的就是给出小数点后两位的分数。







0 评论