别把『同行评审』当质量门:先问它测的是不是同一件事
【锚点】当你刚收到一个拒稿意见,最容易犯的错是把审稿人当裁判;本轮只钉一个判断:【同行评审首先是测量问题,不是道德门】;先问【信度】,再问【构念效度】。
【显式】一眼可见:同一篇论文,评审 A 写“方法可接受”,评审 B 写“方法致命”,编辑必须裁决。 【隐式】需要推理一步:这种分歧常常不是谁更严,而是“方法严谨”这个【构念】在两人脑中边界不同;同一句话被映射到不同分数。 【细微】需要比对多处:如果“方法”同时包含统计功效、可复现性、写作清晰度、领域惯例,而评审表没有拆开,分歧就会被误读为人格或水平差异。 【极难发现】最反直觉:即使两位评审都诚实、专业,只要他们测的不是同一个【构念】,单个审稿意见就天然不可复现;问题不在坏评审,而在把低信度读数当高置信判决。
【流程节点链路】:【把审稿意见当结论】→【把审稿意见当测量读数】→【计算评审一致性】→【检查构念效度】→【用多评审或结构化量表降噪】→【再做接收/拒稿决策】
一个可算的例子:20 篇论文,两位评审各给 accept/reject。8 篇双 accept,6 篇双 reject,6 篇分歧。【观测一致率】=14/20=0.70。若两人各自 accept 11/20=0.55,则【机会一致率】=0.55²+0.45²≈0.505。【Cohen κ】=(0.70−0.505)/(1−0.505)≈0.39。按 Landis & Koch 的经典阈值,0.39 低于中等;这不是“小分歧”,而是【信度不足】。
如果单个评审像短量表,【Spearman-Brown】预言公式给出合并效应:若把评审视为等长平行测量,两个等长评审合并,信度从 r 升到 2r/(1+r)。r=0.40 时,2 个评审≈0.57,4 个≈0.73,8 个≈0.84。这意味着:【增加评审数量】不是官僚,而是把噪声压下去的测量操作。
【待验证点】多数期刊不公开 κ 或分歧结构;我们只能从公开案例反推。若你要求编辑部公开“评审一致性分布”,他们最可能拒绝的理由是什么:隐私、成本,还是怕暴露评审尺度不稳定?







0 Comments