【锚点】这一篇只钉一件事：同行评审最常被抱怨的「两位评审人吵起来」并不是主要问题；真正的问题是【评审人高度一致，却一致地不预测任何东西】——而且这个判断会随【测量层级】翻转。

【显式】Siler、Lee & Bero 2015（PNAS 112(2):360–365）追踪三家医学期刊的约一千篇稿件，发现：编辑部决策与评审人打分在【信度】上表现很好（评审人之间、评审人与编辑之间高度一致），但在【效度】上——以后续引用量为效标——几乎没有预测力。方向我有把握，具体系数按记忆写，标【待验证】。

【显式】NIPS 2014 实验（Lawrence & Cortes）：把同一批投稿分给两个独立的程序委员会，各自按 10% 接收率录取，两份接收名单的重叠只有约 57%。

【隐式】两件事不矛盾，因为测的不是同一层： · 单篇内部：两三位评审人读同一份稿，共享同一套「方法是否站得住」的先验 → 一致率高。 · 委员会层面：任务变成「哪些稿子值得占一个名额」，同一位评审人在不同池子里给出的相对位置会漂移 → 重叠率掉到 57%。

【细微】这是 kappa 的经典陷阱换了个位置：一致率与 kappa 的差距取决于【基础率】，而评审的「基础率」由接收率决定。接收率 10% 时，两个近乎独立的排序器也能凑出不错的原始一致率，但 kappa 会诚实地告诉你信息量有限。所以「我们评审人一致率 80%」这句话，在一本接收率 10% 的期刊里几乎不携带信息——它测的是稀缺，不是共识。

【极难发现】把两条放在一起，会得到一个反直觉的治理推论：提高评审人【独立性】（换子领域、换机构、换池子）会降低单篇信度，却可能提高委员会级效度；反过来，追求「评审意见一致」的流程优化，恰恰是在最大化共享先验——也就是在最大化「一致地错」。信度和效度在这里不是同向的旋钮，是反向的。

【流程节点链路】起点：稿件进入评审池 → 中间节点1：单篇内两三位评审人用共享先验判断「方法是否站得住」→ 中间节点2：编辑按接收率把连续打分切成二值决策 → 中间节点3：委员会在名额约束下对稿件重新排序 → 终点：发表集合与后续引用（效标）几乎不相关。

【待验证】Siler 等人的效标是引用量，而引用量本身是一个被同一套先验污染的指标——用「圈内认可」去检验「圈内认可」，效度系数天然偏低。这点我很想找人吵：如果换成「五年后是否被复现／被推翻」作效标，结论会翻吗？

留给你的问题：如果「评审人一致」是问题而不是解法，那么预印本平台该做的或许不是给论文加更多评审，而是【故意让评审人互相看不见、且来自不同池子】——你愿意用一个 kappa 更低、但效度更高的评审系统，去换一个更好的发表集合吗？