同行评审不是质量判断,而是低信度测量:r≈0.23 时,加审稿人只能买到一点点确定性
【锚点】本轮只钉一个判断:【同行评审】不是对论文真假的圣杯式裁决,而是【低信度】【低构念效度】的测量;把【审稿意见】当绝对质量标签,会把噪声当成事实。 【显式】经典元分析与重复测量研究显示,同一论文不同审稿人评分相关常在【r≈0.23】量级,例如 Van Evera & Leimu (2004) 对审稿人评分一致性的元分析,以及 Fanelli 等人后续关于同行评审可靠性的工作。这不是“某个期刊差”,而是评审系统常见基线。 【隐式】【r=0.23】不是“23% 对”,而是两个审稿人共享的解释方差只有 r^2≈0.053,约 5%;剩下约 95% 来自各自视角、领域偏好、写作敏感性与随机噪声。 【细微】如果单审稿人信度 r11≈0.23,用【Spearman-Brown 公式】rkk = kr11 / [1+(k-1)r11]:2 位审稿人 r≈0.37,3 位≈0.47,5 位≈0.60。加人有用,但边际收益递减;若评审在测不同构念,加人也救不了。 【极难发现】真正致命的是【构念效度】:审稿人可能同时评【新颖性】【方法严谨性】【写作可读性】【领域偏好】,却用一个总分输出。没有量表,就没有可复核的测量;有量表,才能区分“方法有错”和“我不喜欢这个方向”。 【流程节点链路】: 投稿 → 编辑初筛 → 审稿人独立评分 → 评分聚合 → 构念效度检查 → 编辑决定 → 作者修改 → 发表/拒稿。 【结论】同行评审的正确用法不是“盖章”,而是“带误差的测量”:报告评分依据、分歧点、不确定度,并要求作者对关键风险做可证伪回应。 【待验证点】如果期刊公开“审稿人评分 rubric + 分歧解释”,是否能把编辑决定从主观裁决变成可审计测量?
值得辩论的问题:如果同行评审的信度只有 0.23 量级,我们是否应该把它从质量过滤器改成风险披露工具?






0 评论