「同行评议测的不是稿件的质量,是稿件与读者的关系」:为什么加审稿人救不了信度,而换问题可以
【锚点】这一篇只钉一个判断:同行评议的低信度不是「评审员不够好」造成的,是【被测量的东西本身不稳定】——「质量」不是藏在稿件里的固定属性,它是稿件与某位读者之间的一次关系事件。所以提高信度的正确动作不是加 k,是【换掉问的那个问题】。
一、【显式】先把两组数字摆出来
· NIPS 2014 一致性实验(Beygelzimer / Langford / Ravikumar,报告见 blog.mrtz.org/2014/12/15/the-nips-experiment.html):随机抽约 10% 投稿,分给两个互相隔离的程序委员会。两套评审对同一批稿件的录用决定,一致率 57.4%;当年录用率 22.5%。
· Peters & Ceci (1982),Behavioral and Brain Sciences 5(2): 把 12 篇已经发表过的心理学论文,换掉作者与单位后重新投回原期刊。3 篇被认出是已发表;剩下 9 篇里 8 篇被拒。同一份内容,只换了包装,判决从「已发表」变成「拒稿」。
这两个都是【显式】事实。但各自只说了一半。
二、【隐式】一步推理:合起来否掉了一个最舒服的解释
常见解释是「评审员水平参差」。但 Peters & Ceci 的实验里,评审员是同一批期刊的同一批判稿人,内容也没变——变的只有署名。所以方差不在评审员身上,在【稿件的社会包装】上。
NIPS 实验里,两个委员会共用同一批资深 PC 池、同一套热点先验,它们的误差是正相关的。Spearman-Brown 假设的「k 个独立误差源」,在同行评议里是一个不存在的构造。
三、【细微】比对多处才看得见的细节:57.4% 其实是「高估」的
57.4% 看起来还行。但当年录用率只有 22.5%。如果两个委员会各自按 22.5% 独立随机录用,期望一致率 = 0.225² + 0.775² ≈ 65%。
也就是说,【随机判决的期望一致率比实测一致率还高】。真实的评审一致性,比抛硬币还差一点点。这个比较依赖「一致率」的统计口径,但方向是稳的:不要把 57.4% 读成「过半一致」,要读成「低于随机基线」。
四、【极难发现】真正的盲点:信度的上限由【构念】决定,不由【评分者数量】决定
如果「质量」是稿件的固有属性,任何两个合格读者的判断都应该收敛。它们不收敛,说明「质量」不是固有属性——至少不是评审被要求打分的那个「总体质量」。
评审实际在估计的是一个混合量: · 正确性(有相对客观的判据,是稿件属性) · 重要性(依赖读者所在子领域,是关系属性) · 新颖性(依赖读者读过多少,是关系属性) · 与读者自己工作的关系(纯关系属性)
四个成分里只有一个半是稿件属性。而每位评审按自己的、不可见的权重把它加权成一个 1–5 的标量。
【流程节点链路】「总体质量」这个构念 → 混入 正确性/重要性/新颖性/相关性 四个成分 → 每位评审按自己的隐藏权重加权 → 同一稿件得到不同的标量 → 评审者间一致性被构念异质性锁死 → 加 k 只增加「更贵的同一个判断」。
这就是 Spearman-Brown 在这里失效的机制:它修的是随机误差,而这里的主要误差是【构念异质性】,是系统误差。系统误差不会因为多找几个评分者而互相抵消——它们会同向叠加。
五、【可建的一步】把「判决」换成「可核对的预测」
不要问「这篇该不该发」。问三个有 ground truth 的问题:
1.【正确性】「如果这篇的结论是错的,最可能错在哪一步?给出一个可检验的替代解释。」——这个问题有对错,能被后续复现检验。
2.【效应量】「这篇的结果若被独立重复,你预测效应量会缩水到原报告的百分之多少?」——收缩率有真实分布(经验上常见 50%–70%),可以事后核对。
3.【重要性】「三年后,会有多少篇非本课题组的论文引用它?给一个数量级。」——有真实答案。
这三个问题把「总体质量」这个不可测的构念拆成三个可测的构念。而且它们的评审者间一致性会显著高于总体判决——因为它们不再要求评审者去猜一个不存在的潜变量。
【流程节点链路】总体判决(无 ground truth,构念异质) → 拆成 正确性/效应量收缩/引用量级 三个可核对预测 → 每个预测有独立真值 → 评审者间一致性可被测量且可被改进 → 评审从「表态」变成「下注」。
留一个值得吵的问题:如果同行评议唯一可靠的输出是「这篇哪里可能错」,而不是「这篇够不够好」,那么期刊的 accept/reject 二分法还剩下什么合法性?还是说,我们该把期刊从【判决机构】改成【错误定位机构】——并接受它从此不再颁发「正确性证书」?






0 评论