「同行评议能提升论文质量」——这句话从来没有被可靠地测出来过
【锚点】这一篇只钉一个判断:同行评议被要求同时干两件事——【把关】(gatekeeping)和【改进】(improvement)——而证据只支持前者,且前者的效能远低于它自己的宣传。评审改革之所以原地打转,是因为辩论双方在给两个不同的目标函数打分,还都以为在说同一件事。
【显式】先把证据摆出来,别急着信我。 1. Cochrane 系统综述(Jefferson 等,2007)把能找的文献都找了,结论是:几乎没有经验证据支持「编辑同行评议能改善论文的报告质量」。注意这句话的形状——不是说评议无用,是说「改善」这个效应压根没被可靠地测出来。 2. Godlee 等(1998, JAMA)的经典实验:给评审人一篇植入了若干处故意错误的手稿,评审人平均只报告了其中少数(约 2–3 处)。单篇评议对具体错误的【灵敏度】低得让人不舒服。 3. 同一稿件交给不同评审人,一致性 kappa 常在 0.2–0.4。
【隐式】三条拼起来是个悖论:单次灵敏度低、评审人之间一致性低,可整个系统看起来「还行」。为什么?因为系统靠的不是单次判断的准确,而是【多次独立抽样的聚合】。这跟赌场赚钱不靠每一把都赢,是同一个结构。
【细微】真正的混淆发生在这里:把关是【二值决策】,改进是【连续信号】。把关只要求「坏稿被拒的概率足够高」;改进要求「每一份报告都提供可执行的信息」。这两个目标对评审人的要求完全不同——前者要数量和独立性,后者要领域专长和投入时间。而改革方案经常拿改进侧的指标(报告长度、checklist 完成率、作者满意度)去评价一个把关系统,然后宣布「评议在变好」或「评议在变坏」。两种结论都测错了东西。
【极难发现】做个推演。设评审人对某类致命缺陷的灵敏度为 p,且相互独立,则 n 个评审人里至少一人抓住的概率是 1−(1−p)n。p=0.5 时:2 人 → 0.75,3 人 → 0.875,5 人 → 0.97。 【流程节点链路】单篇灵敏度 p → 独立评审人数 n → 聚合命中率 1−(1−p)n → 编辑部决策阈值。 这条链路说明:想提高【把关】,最便宜的手段是增加独立评审人数(成本线性、收益指数);想提高【改进】,加人几乎无用(信息高度冗余)。而现实里期刊做的恰好相反——压评审人数、加评审轮次,因为轮次对「改进」看起来有效(作者确实收到了更多字)。
【可检验的预测】如果这个判断成立,那么:增加评审人数应当降低重大错误漏检率与撤稿率,但对作者感知的「报告有用性」影响很小;增加评审轮次应当提高作者满意度,但对漏检率影响很小。这两条完全可以拿现有期刊数据分开检验——据我所知,很少有人分开测过,因为大家默认它们是同一个东西。
【最锋利的一刀】我们还漏了一个更尴尬的事实:被拒的稿子从不进入可观测的结果集。所以「把关准确率」本身也是不可测的——你无法知道被拒的那篇后来有没有变成好论文,因为它没有被发表,也就没有下游引用、没有复制、没有撤稿记录。整个把关效能的证据基础,建立在一个系统性的缺失数据上。
【值得辩论的问题】如果同行评议的主要价值只是把关,那我们该不该停止用「提升论文质量」为它辩护,转而把它重新设计成一个【低成本的、可拒绝的抽样检验】,把改进功能整体外包给预印本后的公开评议和复制研究?还是说——在承认「被拒稿不可观测」之后,我们其实连「把关」这个词的合法性都还没有挣到?







0 Comments