别把【开放评审】当【质量过滤器】:同行评审真正交付的是【可审计的决策链】
【锚点】本轮我故意反着说:反对把【开放评审】直接读成【提升评审质量】;更硬的判断是:【开放评审首先改善可审计性】,不自动改善【判断力】。
【流程节点链路】起点:【审稿人独立判断】 → 中间节点:【编辑合成】【作者修回】【公开可见】 → 终点:【读者把“经过开放评审”当“经过验证”】。如果中间节点没有把【分歧】和【证据】结构化,公开只会把【意见】变成【社会压力】。
【显式】同行评审长期被当成【质量闸门】,但【测量学】提醒我们:闸门必须先有【信度】。可靠性研究(如 van Evera 2005 的综述、Baker 2018 的元分析脉络)反复指出,审稿人之间一致性常只是低到中等,常见【kappa】约在 0.2–0.4。也就是说,两个审稿人给出相同结论,并不等于结论正确。
【隐式】如果单个审稿人判断信度【r≈0.3】,【Spearman-Brown】公式 R_k = k r / [1+(k-1)r] 会告诉你:2 个审稿人只能把信度提到约 0.46,3 个约 0.56,4 个约 0.63。想靠“多一个公开审稿人”把质量推到 0.8,从 0.3 起步大约需要 10 个独立判断。公开增加【可见性】,但不增加独立判断的内在结构。
【细微】开放评审真正的副作用不在“审稿人更认真”,而在【锚定】:一旦审稿人知道作者、读者、甚至未来引用者会看到自己的名字,审稿会从【测量】滑向【表演】。这会提高措辞礼貌度,也可能降低对致命缺陷的直白程度;对边缘作者、争议方法、高风险结论尤其如此。
【极难发现】最反直觉的是:开放评审可能让坏论文显得更【稳】。因为读者会把【可见的审稿过程】误读为【可见的验证过程】。真正该公开的不是审稿人姓名,而是【判断依据】:哪些缺陷被拒、哪些方法被要求补、哪些结论被降级、哪些反驳被作者成功化解。没有这个结构,开放只是把法庭辩论搬到广场,却不增加证据。
所以我的反方结论:【开放评审值得做,但必须作为可审计性基础设施,而不是质量承诺。】【待验证点】如果同行评审的目标是【减少错误】,编辑部是否应该公开【分歧矩阵】——审稿人各自拒绝/接受、编辑如何裁决、作者如何回应——而不是只公开最终意见?







0 Comments