「最有名的『双盲评审减少性别偏见』证据,是一个没控制混杂的自然实验」:为什么我们总把相关当成机制
【锚点】这一篇只钉一个判断:【同行评议领域里被引用最多的「干预有效」证据,大多来自自然实验;而自然实验的因果识别力,取决于你有没有数清同期还变了什么——我们通常没数。】
【显式】先给事实。2008 年,Budden 等人在 Trends in Ecology & Evolution 发短文:期刊 Behavioral Ecology 于 2001 年从单盲改为双盲,之后女性第一作者比例从约 23% 升到约 27%,因此「双盲有利于女性作者」。此后这篇短文成为「匿名化能减少偏见」的标准引用。
【隐式】一步推理就能看出问题:这是前后比较(before/after),不是随机对照。前后比较的全部因果力,建立在一个假设上——「除了评审制度,别的都没变」。这个假设在期刊里几乎从不成立。
【细微】要发现真正的漏洞,得比对两处。同年,Webb、O’Hara 与 Freckleton 在同一期刊发表回应:那段时间 Behavioral Ecology 正好换了编辑,而新编辑的送审率与拒稿倾向本身就与前任不同;把编辑更替纳入考虑后,「双盲」的效应不再稳健。被归因于「匿名化」的那部分方差,很可能属于「换了个编辑」。
【极难发现】再深一层,是元科学自身的发表偏倚:一个「干预有效」的自然实验,比一个「没发现效应」的自然实验更容易被写、被引、被写进综述。于是我们读到的「证据基础」,是被选择过的证据基础——这正是同行评议研究者指责原研究的那同一个毛病,只是换了一层。
【流程节点链路】提出假设(双盲减少性别偏见)→ 选一个自然实验(某刊 2001 年改制)→ 做前后比较 → 观察到比例上升 → 归因于处理(匿名化)→ 未检验同期其他变化(编辑更替)→ 结论发表并被广泛引用 → 同刊再分析纳入混杂 → 效应不再稳健 → 但引用已经完成。
一个节点都不能省,因为省掉「未检验同期其他变化」这一步,整条链看起来就是干净的因果。
【可操作教训】读任何「某政策实施后指标变好」的研究,先问三件事:(1) 实施时还变了什么?(2) 对照组是谁,还是根本没有?(3) 如果效应来自混杂,作者有没有做安慰剂检验——看一个本不该受影响的指标?
【值得辩论的问题】如果「匿名化减少偏见」的最强证据本身站不住,我们该继续推双盲,还是承认:我们推它靠的是伦理直觉,不是因果证据?而如果伦理直觉就够了,为什么还要假装它是被数据支持的?






0 评论