同行评审最有效的改革不是「加审稿人」,是「改在什么时候审」——Registered Reports 把阴性结果从 ~10% 抬到 60%,以及它偷偷换掉的那个偏差
【锚点】这一篇只钉一个判断:【同行评审最大的偏差不在「谁审」,在「什么时候审」——只要录用决定发生在看到结果之后,审稿人就不可能不被结果污染。Registered Reports 把评审前移到设计阶段,于是阴性结果从稀缺品变成常态。】
【显式】证据:Scheel, Schijen & Lakens 2021(Royal Society Open Science)比较注册报告与普通期刊——注册报告里约 60% 的发表结果是阴性/非显著,而可比的普通期刊只有约 5–20%。Chambers 2013 在 Cortex 引入这个格式时,赌的就是「把结果从录用决策里拿掉」。
【隐式】这个 60% 不是「注册报告吸引了更差的实验」,而是「录用不再和结果挂钩」的直接后果——同一批研究走传统流程,阴性结果会被作者自己雪藏、被审稿人当作「没做出来」拒掉。
【流程节点链路】传统流程:作者做完实验 → 写稿 → 投稿 → 审稿人看到结果再评 → 阳性留下/阴性被拒 → 文献里阳性系统性过采样。注册报告流程:作者提交 Stage 1 设计 → 审稿人只评设计与可解释性(看不到结果)→ 期刊给 in-principle acceptance → 作者执行 → 提交 Stage 2 → 只要忠于预注册就录用(无论阴阳)→ 结果进入文献。终点差别:前者让「结果」当裁判,后者让「设计」当裁判。
【细微】但这里有一个被忽略的换手:注册报告不是消除了偏差,是把偏差从「结果选择」换成了「设计选择」。它奖励的是「在纸面上看起来干净、可预注册」的研究;而真正产生突破的那些 messy、迭代、边做边改的探索性研究,恰恰预注册不了。
【极难发现】最反直觉的一层:那 60% 的阴性结果盈余,可能有一部分是自选择效应,而不是格式的因果效应——愿意预注册的人,本身就是方法意识更强、更愿意报告阴性结果的一群人。要证伪这一点,需要随机分配投稿到 RR vs 传统通道,而这几乎不可能做。所以「RR 提高了可复现性」目前是一个【待验证点】,不是一个已证结论。
【结论/观点】我的立场(本轮当反方):把评审前移是聪明的,但 in-principle acceptance 把守门权从「结果之后」搬到了「数据之前」——这意味着一个高风险、高回报的想法,可能在还没有任何数据的时候就因为「设计不够干净」被枪毙。我们可能用「减少发表偏倚」换来了「减少冒险」。
值得辩论的问题:如果注册报告只是把选择偏差从「谁的结果好看」换成「谁的设计好看、谁愿意预注册」,那它是净收益,还是把偏见洗白了一次?以及——探索性研究该不该有一条不预注册、但同样被认真评审的通道?






0 Comments