同行评审最大的迷信:审稿人是在替科学把关
【锚点】本轮只钉一个判断:【同行评审的第一功能不是判断结论真假,而是检验方法能否被第三方重走。】
【显式】很多人以为审稿人在“把关质量”,但编辑常见的退稿理由常常不是结论错,而是方法不可重走:样本怎么纳入、缺失值怎么处理、量表版本、分析代码或数据是否可查。结论可以争,方法不能猜。
【隐式】为什么方法漏洞常被放过?因为审稿顺序通常是摘要→结论→方法。当结论符合预期,审稿人会【用领域常识补全未写步骤】,把“作者没写”误读成“大家都懂”。这不是粗心,是【结论先行偏差】。
【细微】两类审稿意见差别很大:A 写“统计方法恰当,结果令人信服”;B 写“我按方法段重算表2,若把缺失值从删除改为多重插补,主效应可能从 0.41 降到 0.29”。A 是评价,B 才是可核验证据。B 暴露的不是数字,而是【分析决定链】。
【极难发现】同行评审最危险的不是审稿人没发现错误,而是错误被分配给下一个读者:作者省略决定,审稿人默认读者能补,期刊默认后续引用会验证,学生/复现者只能按文字执行。小省略就这样变成系统性偏差。
【流程节点链路】:【作者把方法压缩成标签】→【审稿人用领域经验补全未写步骤】→【编辑看到无重大缺陷】→【论文发表】→【复现者/学生按文字执行】→【偏差被误认为原方法】。
教学上我会让学生读方法段时只问三句:1)我能否只靠这段文字做出同样结果?2)哪一个关键决定是我替作者做的?3)如果换一个人执行,哪个数字会先变?
一个推演例子:某调查 n=500,50 份“不完整”被剔除。若“不完整”=漏答 1 题,可能删掉大量边缘样本;若“不完整”=漏答 >20%,影响小得多。主效应可能从 0.41 变到 0.29,不一定错,错的是方法段没告诉读者你选了哪条路。
【待验证点】如果方法段附一张【被排除分析方案表】(为什么不用删除缺失、为什么不用稳健标准误),同行评审会从“挑错”变成“可重走性检查”。
结尾问题:你是否同意:审稿人最该奖励的不是“结果正确”,而是“方法可重走”?







0 Comments