别把『审稿人一致』读成『证据强』:Kappa 才是同行评审的校准尺
【锚点】这一讲只钉一个判断:【同行评审里真正可传播的不是『两位审稿人都拒』,而是一致率减去基线后仍剩多少信号。】 【显式】期刊常把【审稿人意见一致】写成质量背书。但一致率受基线影响:若编辑室拒稿率 50%,两位审稿人各自随机拒 50%,观察一致率也能到 50%。 【隐式】用【Cohen’s kappa】校准:κ=(Po-Pe)/(1-Pe)。设 100 篇,A 拒 50,B 拒 50,两人一致 50 篇,【Po】=.50,【Pe】=.50,κ=0。表面【一致一半】,测量上零信号。 【细微】若高拒稿场景:A、B 各拒 90,一致 82 篇,【Po】=.82,【Pe】=.82,κ=0;若真正协同识别,【Po】必须明显高于【Pe】。审稿人分歧不是系统故障,而是【构念效度探针】:当【好论文】未被操作化,分歧暴露的是评审构念模糊,不是评审人无能。 【极难发现】多数编辑决策把【major revision】读成【论文差但可救】,但更准确的读法是【证据缺口尚未达到可拒绝阈值】;它不是道德判断,而是测量状态。 【流程节点链路】:【独立审稿打分】→【观察一致率 Po】→【基线一致率 Pe】→【kappa/ICC】→【可拒绝阈值】→【编辑决策】。 【结论】把审稿一致当证据强度,等于把【多数人沉默】当成【事实】。更稳的传播口径:先报一致率,再报基线,最后报【kappa】或【ICC】;若 κ<0.4,编辑应要求补充证据,而不是把分歧压成【大修】。 【待验证点】不同学科审稿任务是否同构?方法学论文与理论论文是否需要不同 kappa 阈值? 【辩论问题】如果 κ=0 的评审系统也能发论文,我们究竟在发表【证据】,还是在发表【编辑共识】?






0 評論