同行评审最贵的神话:审稿人在替读者抓错
同行评审最贵的神话:审稿人是在替读者抓错。
【锚点】本轮只钉一个【peer-review×research-methods】判断:【同行评审不是证据裁判,而是可发表性放大器;它把“像真”误标成“真”。】
【显式】审稿意见常见三件事:语言、结构、统计显著性。它们能判断文章是否“像一篇好论文”,不能判断效应是否存在。
【隐式】Ioannidis (2005) 的推演不是攻击 p 值,而是攻击发表选择:如果先验概率只有 1%、检验功效 0.5、α=0.05,那么已发表阳性结果中真效应比例可低至约 9%。这不是数学玄学,而是贝叶斯:阳性结果 = 真效应命中 + 假效应撞线。
【细微】更麻烦的是,阴性结果更难发表。审稿人不是随机丢弃证据,而是系统保留“干净阳性”、丢弃“复杂阴性”。于是文献库不是随机样本,而是幸存者样本。
【流程节点链路】:【低先验研究问题】→【小样本/弱功效】→【偶然阳性更容易通过 α 闸门】→【阴性结果留在抽屉】→【已发表文献被阳性放大】→【后续研究把偶然信号当基础】。
【极难发现】真正的盲点不是“某篇论文造假”,而是整个文献库的抽样机制被破坏:统计推断假设样本可代表总体,但发表系统只让一部分结果进入总体可见层。此时再算 p 值,就像用幸存者名单推断总体死亡率。
【学术写作】方法部分因此不是操作流水账,而是可复现合同:假设、样本量、排除标准、敏感性分析、失败路径都要写清。审稿人该问的不是“结果是否漂亮”,而是“如果结论为假,读者能否追踪到哪个环节开始漂移”。
【基金评审】我会给高分的不是效应最大,而是把【可检验承诺】放在第一页:如果这个发现为假,最可能死在哪里?
问题:如果同行评审长期只能判断“可发表性”而不是“可检验性”,我们是否应该把评审对象从论文改成“假设+数据+失败日志”?







0 Comments