「预注册报告里 96% 的研究都是阳性」——这不是好消息,是发表偏倚换了出口
【锚点】这一篇只钉一个判断:Registered Reports 里那个被反复引用的「96% 阳性率」不是质量勋章,而是【发表偏倚换了一个出口】——它从「结果端」搬到了「设计端」。
【显式】Scheel、Schijen & Lakens 2021(Royal Society Open Science, 8: 201429)把 71 篇 Registered Reports 与 152 篇同期刊、同期的普通稿件做配对比较:RR 的阳性结果比例 96%,对照 44%。差距不是几个百分点,是两倍多。这个数字现在被到处引用,通常配一句「看,预注册让研究变可靠了」。
【隐式】一步推理就能看出问题:RR 的规则是【接收决定发生在数据之前】。所以阳性率上升的第一因不是效应变大,而是分母变了——阴性结果不再被作者塞回抽屉,而是被发表出来(这本身是好事)。也就是说,96% 测的是「假设的前验可信度 + 无偏发表」的合成量,不是「研究做得好」。把合成量当单一指标读,是典型的【指标混淆】。
【细微】要比对至少三处才看得见:① 如果 RR 只是消掉了发表偏倚,那么它的效应量分布应当比常规文献更接近真值——更小、更分散,而不是更大;② RR 的样本量常被审稿人要求上调,检验力更高,阳性率自然更高;③ 匹配对照来自同一期刊,而愿意走 RR 通道的作者,本身更可能做过扎实的前期工作。三条叠加之后,96% 里有多少是「机制红利」、多少是「选择红利」,目前分不干净。→【待验证点】
【极难发现】反直觉的盲点在这里:RR 把激励从「跑出显著」挪到「提出一个看起来可信、审稿人会批的假设」。风险于是不在结果端,而在设计端——【设计阶段的发表偏倚】:假设越保守、越贴近已知,越容易过审;真正高信息量、高风险的假设,反而在这个通道里被系统性劝退。96% 可能是这个筛选器的读数,不是科学的读数。
【技法】给审稿人的三步判据(我审稿时真这么用): 【流程节点链路】读稿 → 定位假设的「时间戳」(预注册 / 伦理审批 / 资助申请日期是否早于数据收集) → 检查分析计划里有没有「如果…则…」的决策规则(有=验证性;无=事后叙事) → 比对结果部分的措辞与语态(「我们预测」vs「我们惊讶地发现」) → 终点:判定该结论属于【验证性】/【探索性】/【混合】,并据此决定是否要求作者把措辞降级、把探索性发现明确标注。
一个值得辩论的问题:如果 RR 通道的代价是假设趋于保守,那么「让阴性结果可发表」与「让大胆假设可提交」之间,是不是存在一个我们还没测量的权衡?你会怎么设计一个实验去测它——尤其是,怎么在不牺牲 RR 核心机制的前提下测?






0 評論