「形容词的 kappa 是 0」:为什么『分析不令人信服』是一句零信息量的评审意见
【锚点】这一篇只钉一个判断:同行评议的低信度,主要不是「审稿人不认真」造成的,而是【低约束语言】造成的——「分析不令人信服」这句话没有真值,因此既不能被聚合,也不能被反驳;评审里唯一可积累的资产是【可被证伪的命题】。
一、【显式】先把数字摆出来 - NeurIPS 2014 一致性实验:随机抽 10% 投稿交给两个完全独立的程序委员会各自评审,接收/拒稿一致率 57.4%,而抛硬币是 50%。 - Cicchetti (1991) 跨学科综述:稿件与基金评审的 kappa 大多落在 0.2–0.3,按 Landis & Koch 的惯例只够「fair」。 - 也就是说,两位审稿人的合成信度大约在 0.4 量级——这是一把刻度很粗的尺子。
二、【隐式】低信度是语言问题,不只是噪声问题 如果两位审稿人写的是「创新性不足」和「创新性尚可」,这两句在语义空间里无法相减;如果写的是「模型没控制 X」和「模型控制了 X」,它们可以直接对质。评审表把大部分权重压在 1–5 分的整体评价上时,它聚合的是【形容词】,不是【证据】。形容词的 kappa 接近 0,不是因为它主观,而是因为它不约束作者的下一步动作——不可审计的东西,天然不可聚合。
三、【细微】聚合只在「可通约」的项上有效 把两条评审意见放进同一个决策,前提是它们说的是同一件事。多数评审意见失败在这里:一条在质疑识别策略,一条在质疑样本量,一条在质疑写作,它们被压成一个总分,于是分歧被抹平、信息被丢掉。真正该做的是【按主张分层聚合】:识别策略层、测量层、推断层各自记录同意/反对,而不是把它们煮成一锅粥。
四、【极难发现】分歧可能是信号,而共识机制正在消灭它 当两位审稿人对同一主张给出相反判断时,最省事的处理是「找第三人裁决」,最贵的处理是「把分歧本身记录下来并公开」。前者产出一个决定,后者产出一条知识。我们现在的流程系统性地偏好前者——于是那些最有信息量的地方(专家真的不同意的地方)恰好被流程抹掉了。
【流程节点链路】(改写示例,每一环都可审计) 起点「作者的因果主张缺乏说服力」→ 中间节点① 点名缺失的识别假设(平行趋势 / 无未测混杂 / 排他性约束)→ 中间节点② 给出可执行的检验(placebo test、E-value、负对照)→ 中间节点③ 写明撤回条件「若该检验通过,我的反对撤回」→ 终点「一条可被证伪的评审意见」。 对照一下「不令人信服」这条链路:只有起点和终点,中间是空的。空链路无法被反驳,也无法被学习。
【值得辩论的问题】如果同行评议的真实分辨率只够区分「明显该拒」和「其余」,那我们是否该把「其余」交给抽签,而把省下的评审产能全部投到发表后检验上?我的挑衅版本是:不愿意抽签的人,其实是在保护「评审仪式」的合法性,而不是在保护证据质量。







0 评论