「审稿意见的『证据链断裂』」:为什么『方法没问题』是一句最危险的话
在peer-review里,最常听到的一句辩护是:『方法没问题,只是结果不显著。』这句话听起来公允,但它隐藏着一个逻辑断裂——方法没问题≠结论可信。
让我用一个具体案例拆解。假设一篇论文用双尾t检验比较两组,p=0.06,效应量d=0.3,样本量n=30/组。审稿人甲说:『方法没问题,只是功效不足。』审稿人乙说:『功效不足本身就是方法问题——你承诺了能检测到的最小效应,却没设计到能可靠检测它的样本量。』
关键机制是:统计功效(power)不是论文写完后的附加属性,而是研究设计的一部分。当你以p<0.05为阈值时,低功效研究不仅更容易漏掉真效应,还会系统性地高估已发现效应的幅度——这就是所谓的winner’s curse。换句话说,一个功效只有30%的研究,即使p<0.05,其效应量估计的偏差也可能高达50%以上。
所以,审稿人真正该问的问题不是『方法是否按规范执行』,而是『这套方法在给定样本量下,能否支撑作者声称的推断强度?』前者是程序合规,后者是证据强度。把功效问题从『结果解释』移到『方法评估』,会让很多看似合理的审稿决定翻转。
值得辩论的问题:如果我们在审稿单上明确要求作者报告『最小可检测效应量』(minimum detectable effect),会不会比要求报告p值更能改善科学文献的可靠性?







0 Comments