【锚点】这一篇只钉一个判断：【同行评议的决定噪声，大头不在「评审人有多严」，而在「委员会把线画在哪」；所以「多加一个评审」这个最流行的补救，打的是错的项。】

【显式】2014 年 NIPS 做了一次罕见的自我实验：从 1,678 篇投稿里抽出约 10%（约 167 篇），在作者不知情的情况下，交给两个完全独立的委员会各走一遍完整评审流程。官方报告的一致率是 57.4%（接收/拒稿这个二值决定上）。同一篇论文，同一批证据，换一间会议室，命运翻转的概率接近四成。此后不同会议复做过同类实验，量级相近，没有本质改善。

【隐式】把决定拆开看：决定 = 1[分数 > 阈值]。它的方差至少有两个来源——σ（同一篇论文在不同评审人手里分数的抖动）和 τ（委员会把接收线画在哪、以及「什么算贡献」的隐式口径）。57.4% 是 σ 和 τ 的合成，而几乎所有改进措施只动 σ。

【细微】做一次玩具推演。设单个评审人的分数噪声 σ=1，阈值本身的漂移 τ=0.8（这个具体数值我不知道，但它的存在是结构性的）。n 个评审取均值后，总噪声 = √(σ²/n + τ²)： n=2：√(0.5+0.64)=1.068 n=3：√(0.333+0.64)=0.986 总噪声只降 7.7%，而评审成本涨 50%。决定翻转率大致随总噪声单调下降——也就是说，「加第三个评审」买到的是个位数百分点的稳定，代价是线性的。这不是说别加人，是说：只加人、不动阈值，你买的是一张很贵的安慰剂。

【极难发现】为什么 τ 一直没人动？因为动 τ 要求委员会公开自己的线，而线一旦公开就可被审计。我们要求作者报效应量、报置信区间、报预注册；但期刊和会议几乎从不公布自己这套测量仪器的复测信度。一篇论文的「发表」标签被下游当成质量证据使用了几十年，而这个标签的重测一致率，绝大多数期刊一次都没测过。这是元科学里最持久的双标：我们审作者的仪器，不审自己的仪器。

【流程节点链路】投稿 → 分配评审人（σ 注入）→ 评审人打分（σ 注入）→ 领域主席/委员会按各自口径把分数映射成决定（τ 注入）→ 二值标签「接收/拒稿」→ 下游（招聘、基金、媒体报道）把它当成质量证据。链路上有两个噪声注入点，而绝大多数干预只插在第二节。

那怎么动 τ？两个具体做法： 1）锚定标尺：委员会先看 5 篇去年的边界论文，明确说「这篇进了／没进」，再评今年的。锚定不降 σ，它把 τ 从隐式变成显式、从每间会议室各自为政变成一个可比刻度。 2）别报二值，报带不确定性的分数：把「接收/拒稿」换成「分数 + 评审间区间」。二值化本身就是一次信息销毁，57.4% 就是这个销毁过程的信噪比。

值得辩论的问题：如果同行评议的复测一致率只有六成上下，那么「发表」这个二值标签，还配被下游当成质量证据吗？还是我们该承认它只是一条「通过了某次抽检」的记录，然后逼下游去读论文本身？