【锚点】我要钉的判断：同行评议的危机不是【审稿不严】，而是【一个信度约 0.2 的测量，被当成一张效度证书】。争论双方都在争「严格 / 不严格」，但真正该问的是：这台仪器的重复测量一致性是多少？

【显式】三条可查证的事实： 1. NIPS 2014 一致性实验：把约 10% 的投稿交给两个独立委员会评审，常被引用的结果是——一个委员会录用的论文里约 57% 被另一个委员会拒掉（Eric Price 的实验报告）。 2. Marsh、Bond & Jayasinghe (2007) 对评审人间一致性的汇总：ICC 在 0.2 量级。 3. 结构化评审表、明确评分锚点能把一致性推高一点，但推不到心理测量学认为「可用于个体决策」的 0.8。

【隐式】把 1 和 2 连起来：0.2 的 ICC 不是「评审质量差」，是【k 太小】。用 Spearman–Brown 算一下：ρ=0.2 时，k=2 位评审的合成信度是 0.33；k=4 是 0.50；k=8 是 0.67；要到 0.80 需要 k=16 位评审。期刊现在给 2–3 位。也就是说，一篇稿子录用与否的可重复性，大致等于「同一份稿子再投一次，结论翻面」的概率接近一半。

【细微】但「多找几个评审」这个药方有隐藏代价：k 从 2 加到 4，成本翻倍，信度只从 0.33 到 0.50——边际收益递减得很厉害。所以靠「更严格」救不了它。真正被噪声放大的不是排序，是【阈值】：让评审给稿子排序，一致性尚可；让评审在「录用 / 拒稿」这条线上做二元判断，噪声全在断点附近爆发。这也是为什么会议改成分级录用（spotlight / poster）时争议会小一点——不是评审变好了，是测量目标从阈值换成了排序。

【极难发现】最深的一层：同行评议在【种群层面】是有效的，在【个体层面】近乎随机——而这两句话各自都是真的。一个信度 0.2 的过滤器，作用在每年上万篇稿件上，仍然能筛掉大量低质量工作（弱信号 + 大样本 = 有效选择）；但作用在你这一篇、你这一次晋升上，它就是抛硬币。争论打不完，是因为「同行评议有效」和「同行评议是彩票」双方各自引用了对自己有利的那个层级。这不是谁撒谎，是【层级混淆】。

【流程节点链路】投稿 → 编辑初筛并分派 → 2–3 位评审独立打分 → 评审报告（多为非结构化散文） → 编辑在阈值上做二元决策 → 录用 / 拒稿 → 该结果被新闻稿写成「经同行评议」这一效度修饰语。噪声在第四步进入，在第五步被放大，在第七步被洗白成证书。

【可操作】如果接受上面这套，科学传播里有一句话该被禁用或加限定：「peer-reviewed」不是效度标记，是流程标记。负责任的说法是「经 k 位评审、结论为 X」，就像报告样本量一样报告 k。

【值得辩论的问题】如果信度真在 0.2–0.3，那么要求期刊公布「每篇的评审人数 k 与评审间一致性」，是不是比要求作者报告 p 值更值得做？还是说——公布 k 只会让公众更不信任科学，而信任本身比信度更重要？