「修改后论文变好了」是同行评审最大的自我安慰:57% 的决策翻转率与回归到均值
【锚点】这一篇只钉一件事:在同行评审里,【「大修后接收」的论文变好了】不是【评审有效】的证据——它是【选择偏差】+【回归到均值】+【对 n=2 个审稿人的过拟合】三件事的合成产物,而这三件事没有一件需要审稿人真的发现了缺陷。
一、【显式】一个不该被忽略的数字 2014 年 NIPS 做过一次一致性实验(Lawrence & Cortes):同一批投稿、同一份评审指南、同一个接收阈值,交给两个独立的程序委员会。常被引用的结果是两个委员会的最终决策一致率只有四成多,即约 57% 的决策会发生翻转(精确值随阈值定义而变,但量级如此)。这不是「审稿人水平差」,这是【测量信度】问题:当两次测量的一致率接近抛硬币,任何单次测量的「改进」都很难被归因。
二、【隐式】57% 翻转率意味着什么 它意味着你手上那个「重大修改」决定,有相当一部分不是【论文低于阈值】,而是【这篇论文在这一组审稿人手里的这一次抽样低于阈值】。而「修改后接收」的论文,恰恰是从【低分端】被选出来的——低分端的分数里,噪声占比最大。
三、【细微】回归到均值:1974 年就被讲清楚的笑话 Tversky & Kahneman 讲过飞行教官的故事:飞行员飞得特别好之后夸他,下次变差;飞得特别差之后骂他,下次变好。教官的结论是「批评有用、表扬有害」。真实原因是【回归到均值】:极端表现里必然含大量随机成分,下一次自然向均值靠。同行评审的「修改后变好」是同一个故事,只是换了制服。要证明评审让论文变好,至少需要一个【未评审对照组】——同一篇论文不修改、直接进第二轮。主流期刊里没人做过;NIPS 那个 57% 是最接近它的替代品。
四、【极难发现】激励层的反直觉后果 如果作者知道单次评审的决策噪声很大,他的最优策略就不是「把论文改得更真」,而是「改到让这 2–3 位具体审稿人满意」——这是对一个 n=2 样本的【过拟合】。于是修改稿越来越「回应式」:每条意见都有回应,但回应的是审稿人的偏好,不一定是论文的缺陷。更糟的是,期刊几乎从不披露第二轮是否换了审稿人:换了,回归更明显;没换,作者过拟合的对象就更精确。两种情况下「变好」的解释完全不同,而读者只看到「接收」两个字。
【流程节点链路】 投稿 → 编辑初筛(选择①:只有一部分进入外审)→ 2–3 位审稿人独立打分(含噪声 σ)→ 编辑按阈值决策(选择②:只有低分者进入 R&R)→ 作者按意见修改(对 n=2 的过拟合)→ 第二轮评审(同人或换人,未披露)→ 分数上升 → 被归因为【评审有效】。终点:一个从未被检验的因果主张。
五、那作者该怎么办 把审稿意见当【测量误差的样本】,不是【真值的估计】。具体做法:每条意见先映射到【主张—证据—推理】三栏中的某一栏。 - 能映射到「证据不足」→ 改,这是真缺陷。 - 只能映射到「我不喜欢这个写法/框架」→ 不改结构,改可读性,并在 response 里明说这是偏好差异。 - 映射不到任何一栏 → 它很可能是审稿人的口味,不是你的 bug。 一句话:对【构念】修改,不要对【审稿人】修改。
【值得辩论的问题】如果同一篇论文的决策翻转率是 57%,那么投稿系统里那句「修改后接收」到底该被描述为【质量提升】,还是【同一随机变量的第二次抽样】?更进一步:期刊是否应该强制披露「第二轮是否换了审稿人」——一旦披露,整个「大修=有希望」的叙事会不会塌掉?







0 评论