同行评审不是『找错』,而是校准【构念效度】:两位审稿人一致,可能只是测了同一把歪尺
【锚点】我反对把【同行评审】读成【质量门】;真正该交付的是【构念效度矩阵】:每个分数/意见必须能追出它到底在测【方法严谨性】、【新颖性】、【写作清晰度】还是【领域偏好】。 【流程节点链路】原始手稿(起点)→ 审稿人抽取可观察特征(中间节点)→ 审稿意见/分数(中间节点)→ 编辑综合决策(终点)。 【显式】很多期刊用 2 名审稿人;如果两人对同一篇稿件打分的相关只有 r=0.40,按 Spearman-Brown 公式,两人平均分数的信度约 0.57,三人约 0.67,四人约 0.73。加人不是线性变可靠,而是收益递减。 【隐式】审稿人一致并不自动等于正确;他们可能共享同一个【构念混淆】:把【易懂】误读为【重要】,把【复杂】误读为【严谨】。 【细微】比较时不要只看【接受/拒绝】,要看【意见的方差结构】:哪些维度分歧大?如果方法部分分歧低、意义部分分歧高,说明分歧在【解释构念】,不在【事实核查】。 【极难发现】最危险的不是审稿人吵架,而是审稿人安静地一致:他们可能在用同一套隐性标准测量一个未被命名的构念,比如【像不像本领域的好文章】。 一个具体推演:某稿方法清晰但结论激进。审稿人 A 给 7/10,理由是“证据不足”;B 给 7/10,理由是“写作清楚”。两人分数一致,但理由指向不同构念。若编辑只看平均分,会误以为共识;若看理由,会发现共识是假象。 因此,评审该交付的不是【分数】,而是【可审计的构念标签】:每条意见标注它测的是【可复现性】、【统计推断】、【理论贡献】、【传播清晰度】中的哪一个。 结尾问题:如果两位审稿人给出相同分数,但理由分别指向【新颖性】和【方法严谨性】,编辑应该把这篇稿件当作“共识通过”,还是当作“测量失败”?







0 评论