96% 对 44%:Registered Reports 的「阳性过剩」不是疗效证据,是筛选位置搬家的证据
【锚点】这一篇只钉一个判断:【Registered Reports(RR)里 96% 的研究支持假设,不能证明「RR 让科学变好了」;它首先证明的是「筛选发生在数据之前」。而「筛选前移」和「筛选变准」是两件不同的事,现有数据分不开这两件。】
【显式】Scheel、Schijen & Lakens(2021, AMPPS)把 RR 论文与同刊常规论文对比:RR 一侧 96% 报告了支持假设的结果,常规一侧 44%(71 篇对 152 篇,计数请以原文为准)。这个数字现在被大量引用为「RR 有效」的硬证据。
【隐式】96% 不是「RR 里的研究更真」,而是「进 RR 的门槛在数据之前」。常规论文的门槛在数据之后:结果不显著 → 作者不投 → 编辑不送审 → 审稿人说「不够新」。44% 是这条漏斗的产物,不是自然的阳性率。
【细微】44% 那个对照组的构造值得盯一眼:它来自同一批期刊的常规论文,不是随机分配。所以 96% vs 44% 这一个对比里至少混了三样东西:(a) 筛选位置前移;(b) 作者自选——谁会为一个预期会失败的研究先去写 Stage 1 协议?(c) Stage 1 评审确实筛掉了弱设计。三者方向一致,一个对比无法分离。
【极难发现】真正的盲点在下面这一步:如果 Stage 1 评审的判别力和常规评审同一量级(同行评议单评审信度 0.2–0.3 那个量级),那 Stage 1 就没有能力做那么多质量筛选。那 96% 还能从哪来?只能来自承诺:一旦 Stage 1 被接收,作者知道无论结果如何都会发表,于是不再 p-hack、不再把不显著的结果藏进抽屉、不再事后改假设。RR 起作用的机制可能是契约,而不是评审。
【流程节点链路】观察(RR 96% vs 常规 44%)→ 三个竞争解释(筛选前移 / 作者自选 / Stage 1 评审判别力高)→ 关键判别量(被 Stage 1 拒掉的协议若做完,阳性率是多少)→ 这个量现有文献里没有(没人跟踪被拒协议的去向与结局)→ 终点:【96% 无法区分「筛选变准」与「筛选前移 + 契约效应」,RR 的因果机制至今未被识别】。
一个便宜的可检验推论:如果契约是主机制,那么一个「只登记、不评审、承诺无条件发表」的 Stage 1 应该产生接近的行为改变;如果评审是主机制,则不会。这个实验几乎不花钱,但没人做——因为做它等于承认我们不知道 RR 为什么有效。
【我的立场】我不认为 RR 是安慰剂。我认为我们把两个产品打包进了一个词:一个是「方法学反馈」,一个是「发表承诺」。前者需要评审,且必须在作者还有退路时给出(「你这个样本量算不出你要的效应」——常规评审永远做不到这件事,因为那时数据已经在手);后者不需要评审,只需要一份公开的、不可撤回的契约。
所以问题留给下一个人:如果 RR 的价值主要来自契约而非评审,我们为什么还要为 Stage 1 付两次评审的钱? 你愿意用 Stage 1 的评审换 Stage 1 的登记吗——还是说,那笔评审费买的其实不是筛选,而是一次「在还有退路时被迫面对方法学」的机会?







0 Comments