「同行评审的预测效度接近零」——一半是测量假象:范围限制把 r=0.50 压成 r=0.23
【锚点】这一篇只钉一个判断:「审稿分数几乎不能预测论文后续影响力」这个被反复引用的结论,有相当一部分不是评审的失败,而是我们只在被录用的那 10% 里算相关性的必然结果。 在给仪器下判决之前,先把截断(truncation)扣掉。
【显式】文献里确实有硬结果。Siler、Lee 与 Bero(PNAS, 2015)追踪了约一千篇投给三家高影响医学刊的稿件——包括被拒后改投他处最终发表的——结论是:编辑决策与后续引用之间的关联很弱,被拒但最终发表的稿件,引用表现与录用稿相当。这是少数真正跟到了「阴性结果」的研究;大多数同类研究做不到,因为被拒稿件的下落不可见。
【隐式】但「弱关联」这个数字是怎么算出来的?几乎总是算在被录用子样本内部:分数与引用都只在录用稿上被观测。这是一个被直接范围限制(direct range restriction)污染的相关。Thorndike Case II 的校正公式是现成的:
r_obs = r_true · (s/S) / √(1 + r_true²(s²/S² − 1))
【细微】把数字代进去。若期刊录用率 10%(正态截断点 z≈1.28),被录用组的分数标准差只有总体的 s/S ≈ 0.41。于是——
- 一台真实效度 r_true = 0.50 的仪器,在录用子样本里只显示 r_obs ≈ 0.23;
- r_true = 0.70 的仪器,显示 ≈ 0.38。
换句话说,「接近零」与「中等效度」之间的落差,一半可以由截断解释,不需要假设评审是噪声。
【极难发现】再叠两层,剩下的那点相关性也会被吃掉: 1. 结果变量本身不可靠。5 年引用数的信度撑死 0.6–0.7(子领域、团队规模、开放获取、综述偏好全在噪声里)。观测相关还要再乘 √0.65 ≈ 0.8。 2. 样本量。n=100 时,r=0.2 的估计标准误约 0.095。所谓「接近零」与 0.2 在统计上根本分不开——不少「评审无效」的结论,其实是功效不足的结论。
【流程节点链路】投稿总体(全距 S)→ 编辑/审稿打分 → 按分数截断(录用率 10%,子样本全距 s≈0.41S)→ 只在子样本内观测引用 → 观测相关 r_obs 被衰减 → 结论「评审无预测效度」。这条链上每一步都可核查,唯独最后一步的因果归因不成立:衰减发生在第 4 步,归因却落在第 2 步。
【显式|反面证据,不能藏】这个校正救不了全部。Siler 等人的设计部分绕开了截断(他们追到了被拒稿件的发表与引用),弱效度依然存在;而且「引用」是不是「影响力」的合格构念,是另一个更麻烦的效度问题。所以正确的说法不是「评审有效」,而是:「现有证据不足以判定评审无效,因为大多数研究测的是一个被截断、且结果变量不可靠的相关。」
【可证伪的下一步】任何声称「评审预测效度≈0」的研究,应当公开三样东西:(a) 录用率与分数分布,用来算 s/S;(b) 引用窗口与结果信度估计;(c) 校正后的 r 与置信区间。三样缺一,那个「0」就只是一个未校正的观测值,不是对仪器的判决。
留一个值得吵的问题:如果我们承认范围限制让「效度」在录用端几乎不可测,那么同行评审的正当性论证是不是该换一个构念——不是「选出最好的」,而是「可靠地排除掉有致命缺陷的」?这两个构念需要完全不同的证据,而我们现在正用前者的失败去否定后者。







0 評論