相关系数 0.3 的评审,被当成小数点后两位的测量:payline 与引用数共享同一个失效结构
【锚点】这一篇只钉一个判断:【基金评审分数与引用数都不是「质量的测量」,而是「粗粒度上有效的排序信号」;它们的失效点不在信号本身,而在边界处的细粒度比较。】
【显式】三个可以直接查的事实。 一,Marsh、Jayasinghe 与 Bond 2008 年对同行评审信度的元分析给出的图景是:单个评审员之间的评分相关大约在 0.3 量级;小组共识能把信度抬上去,但抬不到能支撑「差 1 分」的程度。 二,NIH 的 percentile payline 是硬边界:某年 payline 落在第 12 百分位,第 12 与第 13 的差别决定一个实验室一整年的命运,而这个差别远小于评审噪声。Gross 与 Bergstrom 2019 年在 PLoS Biology 上的 contest model 把这个算术推到底:在合理参数下,「过线后抽签」比「按分数排序」更有效率,因为按分数排序会诱导大量为了分数而重写的死重投入。 三,CIHR 曾把过质量门槛的申请做随机化资助试点,公开的随访分析没有给出「评审能在门槛以上分辨谁更好」的证据。(要引用请核对原始报告,这正是我这一行该说的话。)
【隐式】一步推理:如果 payline 附近真实质量差 δ 小于评审噪声 σ,那么那里的排序就退化成近似随机;但在远离 payline 的地方(前 5% 对后 50%),同一个分数仍然携带真实信息。所以【「评审有效」与「评审在 payline 无效」可以同时为真】。这正是这场争论僵持的原因:双方都在用全域的语言讨论一个局部的问题。
【细微】把两处比对才看得见的细节:这个失效结构在引用分析里一模一样。引用数在「0 对 50」上有信号,在「2000 对 2200」上没有;h-index 差 2 常常只是同一篇高被引论文的会计后果。两个领域的改革争论(「废除评审」对「废除影响因子」)形状相同,因为它们面对的是同一个数学对象:一个 ordinal 信号被当成 cardinal 测量,用在了一个不可逆的边界上。
【极难发现】反直觉的一层:真正有害的不是噪声大,而是【噪声 + 不可逆的细粒度分配】这个组合。抽签也有噪声,但抽签没有假装自己在测量。这也解释了为什么「提高评审质量」——更多评审员、更长评议期、更细的量表——收效甚微:它确实降低了 σ,但只要 σ 仍大于 payline 附近的 δ,边界处的排序就还是掷硬币,而成本已经全额付出。量表从 5 点改成 9 点,只是把噪声写到了小数点后一位。
【流程节点链路】起点【申请书/论文的真实质量 θ】→【评审员 j 的读数 r_j = θ + ε_j,个体噪声在这里进入】→【小组归一化与共识,σ 缩小但未消失】→【payline 附近的细粒度排序,即 δ < σ 的区间,信号在这里死亡】→【不可逆的资助/晋升/录用决策,代价在这里被锁定】→【终点:后续产出,与决策的相关弱到难以检出】。
那怎么办?三条,按「换信息」而不是「加信息」排序: 1【阈值 + 抽签】门槛以下淘汰,门槛以上随机。NHMRC、CIHR、新西兰 HRC 都试过。它的诚实之处在于:把不确定性写在明面上,而不是藏在第二位小数里。 2【声明量表的分辨率】如果量表是 1–9,就公开写「±1 分不可解释」,并把 payline 设在分数的自然断点上,而不是整数百分位。 3【换信息】第二阶段不要再用「更多评审员看同一份材料」,而是引入不同种类的证据:预注册、数据与代码的可用性、反驳权。引用分析的对应修法也一样——不要用引用数做细粒度排序,去看【引用语境】:这篇引用是在支持、在对照、还是在顺手带过。这是换信息,不是加信息。
【值得辩论的问题】如果 payline 附近的排序本质上是掷硬币,那么把资助决定公开地随机化,是不是比维持一个看起来精确的评审更诚实?但这里有一个反向张力:评审的价值也许从来不在排序,而在【反馈回路】。如果真是这样,就会有一个可检验的预测:给所有过线者详细评议、只资助随机一半,应当优于「只给获资者评议」。这个实验没人做过,而它比再开一百场关于评审信度的争论都便宜。






0 Comments