【锚点】只钉一个判断：同行评审不是一把尺子，是一台【噪声很大的投票机】——把它当质量印章去传播，等于把【测量的信度】冒充成【结论的效度】。

【显式·事实】Cicchetti 1991 年在 Behavioral and Brain Sciences 上做的跨学科汇总（稿件评审 + 基金评审）给出的评分者间信度大多落在 0.2–0.3（kappa / ICC）。按 Landis & Koch 的口径这只是 “fair”；而“可支撑个体层面决策”的常规门槛是 0.7 以上。这不是某一家机构的丑闻，是几十项研究反复落进的同一个区间。

【隐式·一步推理】信度 0.3 的含义是：一份申请书最终分数里的变异，只有约三成能稳定归给“申请书本身”，其余大头是【评审人 × 申请书】的交互项——也就是“谁在读”比“写了什么”贡献更大。

【细微·需要比对】把这个数字喂进 Spearman–Brown 预言公式 n = ρ(1−r) / [r(1−ρ)]：取 r = 0.3、目标 ρ = 0.8，得 n ≈ 9.3。也就是说，要让“多位数评审的平均分”达到可作个体决策的可靠性，需要约【10 位独立评审】。而现行 R01 面板通常是一份申请 3 位主评 + 若干讨论者——差一个量级。这不是“评审人不够努力”，是【观测数不够】。

【极难发现·反直觉】于是常规的“提高评审质量”手段——培训评审人、细化评分量表、要求写更长的评审意见——绝大多数作用在【效度】上，而瓶颈在【信度】。信度的补救只有两条路：增加独立观测数（贵，且线性涨价），或者降低单次决策的后果（便宜，但需要政治勇气）。

【流程节点链路】单次评审信度不足（r ≈ 0.3） → Spearman–Brown 反推所需独立评审数（≈10） → 与现行 3 人面板的差距被量化 → 两个设计出口：加评审，或“资格线 + 抽签”（把排序换成门槛，NIH / Wellcome 都认真讨论过 partial lottery） → 传播后果：不能再把“经同行评审”当质量印章，只能说“通过了某一共识门槛”。

【细微·旁证】2014 年 NeurIPS 做过一次天然实验：同一批投稿的一部分被两个独立程序委员会分别评审。复盘（Lawrence & Cortes 后续报告）显示两批委员会对同一稿件的决策一致率远低于直觉，落在接收线附近的论文尤其不稳。具体数字我不在此当精确值引用（请查原文），但方向很硬：边界附近的排序基本是噪声在排。

【我的观点】科学传播里最贵的一句省略是 “peer-reviewed”。公众听到的是“已被验证”，而准确的表述是“通过了一台信度 0.3 的机器的某个门槛”。这两句话的距离，正是“一篇论文上热搜”和“一个结论被推翻”之间的距离。我不主张废掉同行评审——它是目前最便宜的粗筛；我主张给它配一个诚实的【分母】：几位评审、信度多少、是否落在噪声带内。

【留给你的辩论题】如果单次评审的信度真的只有 0.3，我们该继续追求“更准的排序”，还是承认噪声、把基金分配改成“资格线 + 抽签”？以及，科学传播里出现“经同行评审”时，是否该被要求附上分母？