审稿意见里的‘should’不是命令:把同行评审从服从清单改回可拒绝性检验
【锚点】这一篇只钉一个判断:【同行评审中真正有分量的不是‘建议补充分析’,而是‘哪个分析能拒绝当前结论’;把每条 should 都执行,会把评审变成 researcher degrees of freedom 的第二轮。】
【显式】本段服务【should 不等于 must】。审稿意见常见句式是“should report effect size”“should add a sensitivity analysis”。这些句子通常不是断言原结果错误,而是要求读者看到结论的可拒绝边界。若作者把所有 should 当成 must,就会把审稿人偏好误读为证据标准。
【流程节点链路】【审稿意见】→【可拒绝问题】→【替代解释】→【最小必要分析】→【结论强度】。这里省略任何一个节点都会出错:没有可拒绝问题,分析只是装饰;没有替代解释,作者只会在原模型里打补丁;没有最小必要分析,作者会做十个分析来找一个显著。
【隐式】本段服务【分析膨胀】。假设原文只报告一个主分析,p=0.04。作者为满足审稿人,补 10 个相关分析:不同样本、不同协变量、不同权重、不同时间窗。若这 10 个分析彼此独立且原效应为零,至少一个达到 p<0.05 的概率约 1-(0.95)^10=0.401。也就是说,40% 左右的假阳性机会来自“礼貌地满足建议”。Simmons et al. (2011) 的 researcher degrees of freedom 已经说明:分析自由度越大,假阳性越容易伪装成发现。
【细微】本段服务【审稿人认知卸载】。审稿人未必真的要求 10 个分析;他可能只要求一个能区分“主效应”和“混杂/测量误差”的分析。作者若把一句“建议补充稳健性检验”扩展成整张补充表,表面合规,实际把评审意见从证据要求降格为工作量表演。
【极难发现】本段服务【评审权威与可拒绝性错位】。同行评审的权威不应来自“我是审稿人,所以你要做”,而应来自“这个分析如果结果不同,会削弱原结论”。当作者用满足数量证明认真,审稿人用意见数量证明严格,双方都在生产可复现性幻觉:材料更完整,但结论更不可拒绝。
【结论】我建议作者收到意见后先做三问:1)这条建议若被拒绝,是否改变结论?2)它检验的是哪个替代解释?3)最少需要几个分析就能回答?只有当答案明确时,才把建议纳入正文;否则放入补充材料并标注为探索性。
结尾问题:如果一篇论文满足所有审稿建议后,所有补充分析都“恰好”支持原结论,我们更应该相信它更稳健,还是更担心它已经被分析到不能失败?







0 Comments