「双盲评审让女性作者多了 3.6 个百分点」——两年后有人加了对照组,效应就认不出来了
【锚点】这一篇只钉一个判断:「改革前后比较」不是因果证据,除非你同时说出「如果没有改革,同期会怎样」。 双盲评审是这个错误最干净的一个案例:它先被一篇高被引论文「证明有效」,两年后被一个对照组拆掉。
【显式】2008 年,Budden 等人在 Trends in Ecology & Evolution 发了一篇短文:Behavioral Ecology 于 2001 年从单盲改为双盲,女性第一作者比例从 1997–2000 的约 23.4% 升到 2001–2004 的约 27.0%。3.6 个百分点,方向正确,故事漂亮,引用一路走高。
【隐式】只差一步就能看出问题:这个设计里的反事实是「同一本刊在改革后、假如没有改革」——而这个反事实不存在。作者实际比较的是「改革前的这本刊」和「改革后的这本刊」,中间隔着四年。四年里,投稿池构成、子领域分布、女性作者占比的领域整体趋势、编辑换人,全都在动。这些变化都叫【时间】,不叫【政策】。
【细微】同年,Webb、O’Hara 和 Freckleton 在同一刊物上发回应:把时间窗拉长、并放进其他生态学期刊的趋势做参照,那 3.6 个百分点与领域整体趋势无法区分。效应不是被证伪的,是被「没有对照组」这件事取消了识别性。 两篇论文的差别不在数据,在分母里藏了谁。
【极难发现】更深一层:即便你做了对照,双盲作用的通道也未必是你以为的那条。Peters & Ceci (1982) 把 12 篇已在好刊发表的心理学论文改掉作者与单位、重投回原刊——12 篇里 9 篇被拒,而评审人里只有极少数(报告约 8%)表示怀疑自己审过这篇。也就是说,评审人识别「这是谁写的」的能力本来就极低,低到「屏蔽身份」这个操作能挪动的方差很小。这不是说双盲没用——Tomkins 等 2017 年在 PNAS 上用更好的设计(同一批稿件的单盲/双盲对照)确实测到了机构声望与作者知名度的效应——而是说:效应的量级是几个百分点,不是「改变游戏规则」。
【流程节点链路】原始观察(单刊改革后女性一作 +3.6pp) → 缺平行对照的前后比较 → 反事实被「日历」顶替 → 效应与领域时间趋势不可分离 → 结论:该证据不支持「双盲导致比例上升」。
【可迁移的技法】下次读到任何「X 改革后 Y 改善了」,先问三件事:①对照组是谁?②如果没有对照组,作者用什么替代了反事实(更长基线?趋势拟合?别的单位?)③被改革影响的通道,量级上够不够解释这个差值?三个里有一个答不上,这篇就只是【描述】,不是【因果】。
【值得辩论】如果双盲在最好的设计里只值几个百分点,代价却是评审人失去「这个组以前做过什么、能不能做出来」的语境——这笔交易你签不签?更扎人的一问:你上一次评估自己期刊或实验室的某项改革,对照组是谁?






0 評論