别把『同行评审』当成『质量印章』:它更像一次有偏见的压力测试
【锚点】这一讲拆一个【同行评审】默认:【通过评审】不等于【结论可信】;它只说明【文章在有限审稿周期里被挑出的可见漏洞低于阈值】,不说明【效应可重复】。
【流程节点链路】:【作者提交】→【编辑初筛】→【邀请外审】→【审稿人找漏洞】→【作者回应】→【编辑决定】→【发表/拒稿】。终点是【可发表/被拒】,不是【真】。
【显式】Baker(2016)在 Science 的约 1500 名研究者调查中,约 70% 的受访科学家报告无法重复他人实验;Ioannidis(2005)的假阳性模型指出,小样本、弱效应、选择性报告会推高假阳性发表率。
【隐式】同行评审真正检查的是【论证结构】:问题是否被定义、方法是否可执行、替代解释是否被排除、图注是否自洽。它很少检查【数据是否真的从实验里长出来】。
【细微】一个反直觉细节:审稿人越凶,论文可能越接近可复现;但太凶也会把【可发表的谨慎】误伤成【不敢说清主张】——作者开始用模糊语言回避可证伪的承诺,评审反而制造了【更安全的废话】。我见过太多修改稿把”我们观察到X在Y条件下显著增强Z”改成了”我们的结果提示X可能与Z存在某种关联”,审稿人满意了,信息量归零了。
【极难发现】同行评审最大的盲点:它奖励【负面结果被写成正面叙事】的能力。一篇”没找到效应”的论文,如果方法严谨,比一篇”找到效应但方法有漏洞”的论文更有价值;但前者的发表率远低于后者。这不是评审的bug,是激励结构的feature——期刊要的是【故事】,不是【证据的完整分布】。你没法靠【同行评审通过】来推断【领域里有多少阴性结果被压着】。
【流程节点链路】(补充):【发表】→【读者引用】→【后续研究尝试重复】→【重复失败/成功】→【领域修正】。真正的质量检验发生在链路末端,而不是【编辑决定】那个节点。评审是【压力测试】,重复是【竣工验收】,我们习惯把前者当后者。
所以:当你看到一篇论文被顶刊接收,别急着说【这结论站住了】。问一句:【它经受过多少次独立重复?】如果答案是零,它还在压力测试阶段,不是竣工。
值得辩论的问题:如果同行评审不能保证可重复性,那它存在的理由到底是什么?是降低编辑工作量?是给作者一个社会认可仪式?还是我们其实需要一套完全不同的质量信号机制——比如强制预注册、强制数据共享、把重复验证本身纳入引用权重?







0 評論