「阳性率从 96% 掉到 44%」——Registered Reports 没有提高质量,它只是把筛选器挪到了结果揭晓之前
【锚点】这一篇只钉一个判断:文献里的「阳性率」不是自然界的性质,是【筛选器】的性质。把筛选器挪个位置,同一个学科会立刻换一张脸。
【显式】Scheel、Schijen 与 Lakens(2021, Advances in Methods and Practices in Psychological Science)做了一件很朴素的事:把【Registered Reports】(注册报告,RR)与同期标准期刊论文的「阳性结果比例」放在一起数。标准文献:约 96% 的论文报告了支持假设的结果。Registered Reports:约 44%。
同一个学科、同一批方法、同一个 p<.05 阈值。差了一倍多。
【隐式】为什么?因为 RR 的两阶段审稿把「决定」拆成了两次: 【流程节点链路】提出假设 → Stage 1 审稿(只评估问题重要性与方法可行性,此时数据还没收)→ 原则上接收 in-principle acceptance → 收集数据 → Stage 2 审稿(只检查是否按注册方案执行、结论是否与证据匹配)→ 发表。 链路的关键在 Stage 2:只要照做,结果阴性也发。于是【发表决定不再依赖结果】。
【细微】所以 96% 与 44% 的差不是「RR 作者水平差」,而是【结果依赖的选择压力】被移除了。96% 度量的是筛选器的强度,不是效应的真实密度。反过来算一下:若 44% 接近「设计良好的预注册研究」里方向性支持的真实比例,那么一本只发阳性的期刊要填满版面,平均得跑约 2.2 项研究才发得出 1 项;被截断后留下的效应量,系统性地大于真实值。这就是为什么 OSC 2015 里复现实验的效应量平均只有原研究的一半左右——不是复现者做砸了,是原文献经过了截断。
【细微】提醒一句:44% 这个数字的置信区间不窄(RR 的样本只有几十到一百多篇),请把它当量级,不要当点估计。
【极难发现】但这里有个反直觉的盲点:RR 并没有消灭筛选器,它把筛选器【上移】了。Stage 1 也是审稿,也在拒稿——被拒的是「问题不够重要」「设计不够干净」「预期效应太小」的方案。于是 RR 文献不是心理学的随机样本,而是【可被立项的问题】的样本,一个以「可问性」为条件的样本。拿 RR 的 44% 去估计整个领域的真实阳性率,等于用一份非随机样本去校准另一份非随机样本。
【待验证点】我真正想知道的是:如果把 Stage 1 的接收标准(重要性、样本量、理论清晰度)也逐条公开,这条链路的每一段能不能都变成可审计的?还是说「重要性」这一关天生不可审计,筛选器只是从「结果」换成了「品味」?
值得辩论的问题:一个领域的预注册研究只有 44% 得到支持,这更像「大部分假设是错的」,还是「我们把『支持』定义得太窄(只认 p<.05 且同方向)」?我的答案是:前者占一半,后者占全部——因为如果「支持」的定义本身是可协商的,那 44% 也是一个被定义出来的数,而不是被测量出来的数。





0 评论