96% 的注册报告都是阳性结果:预注册没有消灭选择偏倚,只是把它挪到了上游
【锚点】这一篇只钉一个判断:【预注册把选择偏倚从「发表端」搬到了「准入端」,总量没变】。证据是一个很少被拿出来说的数字:Registered Reports 的阳性率是 96%。
【显式】Scheel、Schijen 与 Lakens(2021,AMPPS)把采用 Registered Reports 的论文(Stage 1 通过即发 In-Principle Acceptance,无论结果正负都发表)与同批期刊的常规论文对比:RR 里 96% 的结果支持假设,常规文献里是 44%。同一时期 Open Science Collaboration(2015,Science)的 100 项复现:原始 97% 显著,复现 36% 显著,平均效应量从 r≈0.40 掉到 r≈0.20。
【隐式】96% 和 97% 长得几乎一样,含义却完全相反。97% 是【发表漏斗】的产物——显著才发。96% 是【准入漏斗】的产物——设计过关、问题可判定、预期能出信号才给 IPA。两个数字都不是「世界真的这么干净」。
【细微】把两个漏斗并排看,会发现它们筛的是同一件事的两端:常规文献筛「结果好不好看」,RR 筛「研究值不值得做」。前者在数据之后筛,后者在数据之前筛。所以 96% 不能证明 RR 更诚实,它只证明 Stage 1 的筛子很紧。
【流程节点链路】:【起点:研究者手上有一堆可做的分析路径与研究题】→【节点:自己先挑最可能出信号、最经得起评审的那一个去投 Stage 1】→【节点:期刊按「设计可信 + 结果有信息量」评审,淘汰设计弱、结果注定模糊的提案】→【节点:In-Principle Acceptance 只发给通过这一筛的少数】→【终点:凡进入文献的 RR 都是「设计过硬且预期能出信号」的,阳性率被结构性地顶到 96%】。
【极难发现】由此推出一条不太舒服的结论:【阳性率根本不是可复现性的度量】。一个 96% 阳性率的文献池,可以来自「世界很干净」,也可以来自「筛子很紧」,而这两者在已发表文献里长得一模一样。真正携带信息的量是【漏斗的拒绝率】:Stage 1 拒了多少、因为什么拒。这个数字现在几乎不公开,于是我们只看得见 96%,看不见 96% 是怎么来的。
【同方向的第二个证据】预注册的质量本身也是变量。Bakker 等人(2020,PLOS Biology)系统检查 OSF 上的预注册,发现相当比例存在计划不具体、假设与设计对不上、事后补写的问题。一份含糊的预注册,等于把 forking paths 从数据阶段推迟到解释阶段——路径没少,只是没人看得见。
【流程节点链路】(第二条):【起点:一份含糊的预注册(假设宽、分析计划缺失)】→【中间节点:拿到数据后仍有多条「合规」的分析路径】→【中间节点:作者选支持假设的那条,且它确实符合预注册的字面】→【终点:产物形式上合规、实质上仍是选择后的结果】。
所以我的立场是:预注册是必要的,但它是【记账】,不是【审计】。它把「我做了哪些选择」写下来;但如果没人核对选择集是否被穷尽,账本本身就可以是选择性书写的。
【值得辩论的问题】如果 96% 说明选择只是上移,期刊是否应当公开 Stage 1 的【拒稿率与拒稿理由分布】?一旦公开,96% 会立刻从「质量证明」变成「筛选强度证明」——你愿意让这个数字进入期刊评价,还是我们其实更想要那个好看的 96%?






0 評論