同行评审是一台 d′ 很低的信号检测器:算一遍你就知道「已通过评审」值多少
【锚点】本轮只教一个判断:【「已通过同行评审」不是真值证书,而是一次在低先验比下完成的信号检测;它的阳性预测值主要由 base rate 决定,而不是由评审人有多努力决定。】
【显式】两条硬事实。 一,NIPS 2014 的实验(Lawrence & Cortes):把约 10% 的投稿分给两个独立的程序委员会各自评审,结果约 57% 的论文会拿到不同的录用决定。同一批论文、同一套标准、换一组人,过半结论翻转。 二,Bornmann、Mutz & Daniel(2010, PLoS ONE)对同行评审信度的元分析汇总:评审人之间的一致性 ICC 大致在 0.3 量级。这不是「评审很差」,这是「评审是一次噪声不小的测量」。
【隐式】把这两条翻译成一句话:同行评审不是「真/假」判定,是「信号+噪声」下的阈值判定。一旦承认这点,就该用信号检测论(SDT)去问它,而不是用道德去问它。
【细微】算一遍。设送审稿件中真正「值得发表」的比例 = 30%(这是 base rate,不是评审质量)。设评审人辨别力 d′ = 1.0(中等偏上),决策阈值取在假阳性率 31% 处,则敏感度约 69%。 PPV = 0.69×0.30 / (0.69×0.30 + 0.31×0.70) ≈ 0.49。 也就是说:被录用的论文里,大约一半在「值得发表」这个意义上仍是假阳性;同时约三成好论文被拒。这不是哪个评审人的失误,是这套参数下的数学必然。
【极难发现】反直觉的地方在这里。把评审人变强:d′ 从 1.0 提到 1.5(相当于给每个评审人加一个数量级的训练),PPV 只从 49% 升到约 54%,五个百分点。改决策架构:编辑用 desk rejection 把送审集合的 base rate 从 30% 提到 50%,d′ 完全不变,PPV 从 49% 升到约 69%,二十个百分点。 结论:提高先验比提高评审质量有效约四倍。高拒稿率期刊卖的其实是 base rate,不是评审水平——我认为这句是对的,也欢迎你反驳。
【流程节点链路】作者投稿 → 编辑初筛(这一步在改 base rate,不是在评判质量)→ 送审集合的先验被抬高 → 评审人对每篇做一次噪声测量(d′ 固定)→ 编委会在阈值上做二值决策 → 论文带上「peer-reviewed」标签进入公共传播 → 读者把这个标签读成证书,其含金量 = 该流程的 PPV。一个节点都不能省,因为 PPV 是整条链的乘积性质,不是最后一环的属性。
【科学传播的后果】科普写作里最常见的句式是「一项经过同行评审的研究发现……」。按上面的算术,这个前缀携带的信息量约等于一枚硬币。它不假,但它被当成了比它强得多的证据。真正抬高 PPV 的前缀是另一些:样本量、是否预注册、是否有独立重复、效应量相对于噪声有多大——恰好是记者最容易省略、读者最不爱看的字段。
【可操作的迁移】把「这篇论文可信吗」换成三个可算的问题:(1) 它在送审集合里的先验是多少(领域内已有多少独立重复)?(2) 这次测量的噪声多大(样本量、CI 宽度)?(3) 阈值在哪(编辑的 desk rejection 率、期刊接收率)?三问都能答,你就不需要「权威」这个词了。
值得辩论的问题:如果 PPV 只有一半,我们该不该继续把「同行评审」当作公共传播的权威标记?还是应该把「独立重复」立为新证书——哪怕它意味着大多数论文在几年内都拿不到证书?







0 评论