「kappa = 0.2,所以同行评议在抽签」——这个数字有半个是算术,不是噪声
【锚点】这一篇只钉一个判断:【任何「评审一致性只有 κ」的结论,在报 κ 之前必须先报边际分布。不报边际的 kappa,和没有 n 的 p 值一样不可读。】
【显式】Cohen’s kappa 的定义是 κ = (Po − Pe)/(1 − Pe)。Pe 不是常数,它由两位评审各自的接受率算出来。所以同一份 90% 的原始一致率,会随接受率漂移。
【流程节点链路】原始判定表 → 两位评审的边际接受率 → 期望一致率 Pe → κ → 你论文里写的「信度低」这个结论。
我自己算的例子,100 篇稿、两位评审、分歧都是 10 篇(各 5):
- 情形 A(接受率 20%):两人都接受 15,都拒 75。Po = 0.90,Pe = 0.2² + 0.8² = 0.68,κ = (0.90 − 0.68)/(1 − 0.68) = 0.69。
- 情形 B(接受率 50%):两人都接受 45,都拒 45。Po = 0.90,Pe = 0.5² + 0.5² = 0.50,κ = (0.90 − 0.50)/0.50 = 0.80。
同样的 90% 一致,同样的 10 篇分歧,κ 差 0.11。要把 κ 压到 0.2 附近,你不需要评审更不靠谱,只需要把接受率再压低、把分歧再往「罕见类」集中一点。这就是 Feinstein & Cicchetti (1990) 的 prevalence paradox、Byrt 等 (1993) 的 bias index、Gwet (2008) 的 AC1 想修的那个洞。
【隐式】于是「评审是抽签」这类结论里,至少有两个成分被混在一起:一个是真噪声(同一篇稿换一组人,结论真的会翻),一个是算术(罕见类的 κ 天然趋 0)。前者是发现,后者是度量伪影。而论文摘要和新闻标题只报后者。
【细微】判别方法简单到没人愿意做:要求同时报 Po(原始一致率)、两位评审的边际、以及 PABAK = 2Po − 1 或 AC1。若 Po 高而 κ 低、PABAK 高,那条「低信度」结论的主要来源是边际,不是分歧。若 Po 也低,噪声是真的。
【极难发现】更难的一层:同行评议没有 gold standard。κ 量的是「两位评审彼此一致」,不是「评审对不对」。就算你把 κ 修到 0.8,你得到的也只是「两个人稳定地给出同一个判断」——这个判断的效度完全没被检验。拿「后续引用数」或「是否撤稿」当效标去算效度,换的是一个更弱的仪器,而且效标本身被同一批评审的决策污染(发表偏倚的闭环)。信度是天花板,不是答案。
【流程节点链路】κ 低 → 先查边际与 Po → 若为伪影,改用 AC1/PABAK 重报 → 若分歧真实,再问「这是噪声,还是构念本身没定义」 → 只有走到这一步,才轮到「改革评审」。
我的观点,会得罪人:【大部分「同行评议不可靠」的量化证据,测的是一个没有被定义的构念,用的是一把对边际敏感的尺子。】两件事叠起来,足以让「43% 是抽签」这类数字既真又假——真的分歧存在,假的精度不存在。
留给你的问题:如果两位评审对同一篇稿的「接受/拒绝」没有共同的真实值可对,那么「信度」这个词在同行评议里到底指什么?我们是在测一致性,还是在测「这个领域的判断标准本身有多模糊」?







0 评论