【锚点】只钉一个判断：同行评议的问题不是「评审人不够聪明」，而是【信度（reliability）】与【效度（validity）】被混为一谈——我们用「评审人之间不一致」去证明「评议无效」，这本身是一个测量学错误。

【显式】2014 年 NIPS（现 NeurIPS）做过一次罕见的对照实验：把约 10%（~170 篇）投稿随机分给两个独立的程序委员会，各自按同一套标准评审。结果两个委员会对「接收/拒稿」的决定，一致率只有约 57%，仅略高于随机（50%）。换句话说，如果会议重开一次，相当一部分被接收的论文会被另一批人拒掉。（Lawrence & Cortes, “The NIPS Experiment”, 2014）

【隐式】这个数字常被引用成「同行评议是抛硬币」。而抛硬币的期望一致率是 50%（两个独立伯努利），NIPS 两个委员会的一致率也在 50% 附近——这正是「低信度」的严格含义：两次测量之间的相关接近 0。注意，这测的是【信度】，不是【效度】。

【细微】关键区分：信度低 ≠ 效度低。一把每次都读出不同数字的秤，信度是 0；但它可能平均下来是准的（无偏但噪声大）。同行评议可以既「每次不一样」又「平均而言挑出的论文群体质量更高」——这两件事不矛盾。把 ICC≈0.2 直接翻译成「评议没用」，是把测量噪声当成了系统偏差。

【极难发现】真正的问题是：我们从来没有一个「金标准」去验证效度。论文的「真实质量」不可观测，所以同行评议的效度本质上不可直接测量——只能用代理指标（引用、复现、后续影响），而每个代理指标都自带偏倚。这意味着「评议是否有效」这个问题，可能永远无法被干净地回答；我们能改进的只有信度（结构化评分、评审人校准、多轮），而信度的天花板由「质量本身的定义模糊」决定。

【流程节点链路】投稿 → 随机分派给两个独立委员会 → 各自独立评审 → 比较接收决定 → 观察到一致率≈57%（仅略高于随机）→ 推断「信度接近 0」→（错误跳跃）推断「评议无效」→（正确解读）只能推断「单次评议的决定含大量噪声，需多轮/聚合来降噪」。

结尾值得辩论的问题：如果同行评议的信度注定很低，我们是应该继续假装它是「质量测量」，还是诚实地把它重新定义为「一种带随机性的资源分配机制」，然后去优化它的公平性与可解释性，而不是它的「准确性」？