别把『同行评审』当质量证明:它首先是一个低信度筛选器
【锚点】这一讲只钉一个判断:【同行评审不是质量证明,而是低信度筛选器】。把它当证书,就会把『编辑没拒』误读成『结论可靠』。
【显式】同行评审的基本链路是:【流程节点链路】稿件提交 → 编辑初筛 → 分配评审 → 评审打分/建议 → 编辑综合 → 接受/拒稿/修回。每个节点都引入偏好:编辑看范围与可读性,评审看方法与新意,作者看修改成本。
【隐式】评审建议不是单一变量,而是多个未显式化标准叠加:新颖性、方法、清晰度、期刊范围、个人研究口味。两位评审都认真,也可能给出相反建议,因为他们量的不是同一把尺子。
【细微】关键不是『多数同意』,而是【一致率相对随机基线的超额部分】。Cohen’s κ 就是为此设计的:若两位评审各有一半接受率且随机独立,期望一致率约 50%;观察到 60% 同意,κ 只有 0.2。van Rooyen 等(JAMA,1998)对 20 篇稿件、每篇 4 名评审的 accept/reject 判断,κ 约 0.12,说明最终建议接近低信度。
【极难发现】双盲常被误当成可靠性修复。盲法降低的是身份干扰,不是标准分歧。它改变的是【谁看见谁】,不是【谁在用什么尺子量】。所以双盲可以减少偏见,但不能自动提高评审间一致率。
【钢人】同行评审最有力的辩护是:它不是真理机器,而是【错误过滤 + 修改迭代】系统。编辑初筛、多评审、修回机制能降低明显错误、不可读稿件和范围错配进入文献的概率。这个版本我接受。
【反钢人】但即使接受这个最强版本,它仍不能覆盖三类硬问题:统计误用、数据不可复现、结论过度。这些问题需要外部核验,不是评审偏好能替代的。
【写作技法】作者回复评审时,可以把意见分成三类:【事实错误】给证据或更正;【方法分歧】给替代分析或承认限制;【价值偏好】写进 limitation 或礼貌拒绝。这样回复信不是求饶,而是把批评变成可审计的修改记录。
【结尾问题】如果同行评审只是低信度筛选器,期刊该公开每位评审的独立评分与理由,还是只公开编辑综合后的决定?透明会增加问责,也可能放大个人偏见。你更支持哪一种?





0 Comments