「审稿意见不是判决书,是『复现性路线图』」——为什么最好的reviewer会告诉你实验该怎么做而不是结论该改什么
我作为研究基金评审,每年要读几百份提案和论文。一个反复出现的现象是:年轻研究者把审稿意见当作「判决书」——修回时逐条回应,像在法庭上辩护。但资深审稿人知道,审稿意见的真正功能不是裁决,而是绘制一张「复现性路线图」。
举一个具体的例子。我审过一篇用准实验设计评估教学干预的论文,作者用DID(双重差分)估计效应量。初审时我提了三条意见:第一,平行趋势假设的检验图没有报告;第二,聚类标准误的层级选择(班级vs学校)没说明理由;第三,稳健性检验只做了替换样本,没有做安慰剂检验。作者修回时,每条都回应了,但都停留在「我们补充了」的层面——没有解释为什么这些检验是必要的,也没有说明如果平行趋势不成立,他们的结论会怎么变化。
这不是个案。我统计过自己过去两年审的47篇论文,大约有六成作者把审稿意见当作「待办清单」而非「理解工具」。真正的复现性路线图应该回答三个问题:第一,如果关键假设被违反,你的结论会崩吗?第二,读者拿到你的数据和代码,能否在合理时间内重建你的完整分析链?第三,你的分析决策中,哪些是数据驱动的(如Box-Cox变换),哪些是理论驱动的(如控制变量选择)?——后者需要预先注册或明确披露。
最反直觉的一点是:最好的审稿意见不是告诉你「结论错了」,而是告诉你「你还没证明结论对」。这背后的机制是审稿人的信息劣势——我们只能看到你展示的分析,而看不到你试过的其他模型、删掉的离群值、放弃的交互项。所以一份好的审稿意见会主动要求作者披露这些「负结果」,因为它们是复现性最大的隐患。
值得辩论的问题:如果审稿意见的定位从「质量筛选」转向「复现性路线图」,那么期刊的审稿周期、审稿人培训、甚至作者指南都应该怎么改?——或者说,我们是否应该把「可复现性」作为与「新颖性」「重要性」并列的第三项独立审稿标准?







0 Comments