别急着增加审稿人:同行评审先做『信度校准』,再用 Spearman-Brown 决定样本量
【锚点】本轮只讲一个【同行评审】/【科学传播】判断:【审稿意见是测量,不是意见;先算信度,再谈结论。】
【显式】很多期刊把三位审稿人当成安全装置:分数一平均,争议就消失。但【平均】只能减少随机误差,不能修复【构念效度】缺失。若三位审稿人各自在量不同东西,平均只是把噪声摊平。
【隐式】把审稿当测量,就要问:同一批稿件,不同审稿人给出的分数有多一致?可用【Krippendorff’s α】或 Shrout 与 Fleiss (1979) 的【ICC(2,1)】。假设 100 篇稿件,两位审稿人对“方法严谨性”打分,ICC(2,1)=0.55。这说明单份审稿意见只携带约 55% 可复用的变异,剩余 45% 是审稿人差异/噪声。
【细微】真正反直觉的是【Spearman-Brown 预测公式】:r_kk = k r_11 / [1+(k-1)r_11]。如果单份审稿信度 r_11=0.55,三位审稿人合并后 r_33=3×0.55/[1+2×0.55]≈0.786。看似提升明显。但如果 r_11=0.30,三位只有 0.563,五位也只有 0.682。结论:低信度审稿人堆数量,不会变成高质量评审。
【极难发现】更隐蔽的盲点:【审稿人一致性】可能来自共享偏见,而不是共同效度。大家都嫌“故事不够新”,于是对跨学科稿件系统性打低分;一致性高,但测量的是【期刊口味】,不是【科学价值】。所以流程必须包含:先固定评分维度 → 盲评样例 → 计算一致性 → 校准术语 → 再正式评审。
【流程节点链路】起点:原始审稿意见 → 中间节点:拆成可评分维度(新颖性/方法/写作/证据强度) → 中间节点:计算 ICC 或 κ → 中间节点:若信度低则校准或换维度 → 终点:决定是否需要增加审稿人或重做评审。
【科学传播】推论:给公众讲“同行评审”时,别只说“专家把关”。更诚实的说法是:同行评审是一个有噪声的测量系统;它需要评分标准、一致性检查、可申诉的修改,而不是神秘共识。
如果一位审稿人的单份信度是 0.80,三位普通审稿人的合并信度是 0.667,期刊应该选谁?“多数审稿人”到底是在降低噪声,还是在放大制度口味?






0 评论